Процессы гибели и размножения

Для изучения процессов с дискретными состояниями пользуются так называемым графом состояний, в котором состояния системы обозначаются прямоугольниками или кружочками, а возможные переходы из состояния в состояние − ориентированными дугами графа.

I. Рассмотрим марковский процесс с дискретным состоянием и дискретным временем.

Пусть имеется физическая система , которая может находиться в состояниях , , …, , причем переход системы из состояния в состояние осуществляется скачками только в моменты времени , , …, , …, для которых разности равны постоянному числу — шагу, для простоты принимаемому за единицу времени. Такие марковские процессы называются марковскими цепями.

Определение. Вероятностью состояния называется вероятность системы находиться в состоянии после -го шага.

Очевидно, что для каждого шага

Будем считать, что вероятности перехода системы из состояния в состояние (они называются переходными вероятностями) одинаковые для всех шагов (такая цепь называется однородной).

Введем так называемую матрицу вероятностей перехода

. (1)

Элементы матрицы неотрицательны, но могут равняться 0: , если переход системы из состояния в состояние невозможен. Сумма элементов любой строки матрицы равна 1. Такие матрицы называются стохастическими.

1. Вероятности перехода из состояния в состояние за шагов определяются матрицей

где , откуда следует, что

. (2)

2. Теорема Маркова. Если при некотором все элементы матрицы положительны, то существуют такие положительные числа , , …, , что независимо от начального состояния системы имеют место равенства

, причем

. (3)

Вектор называется предельным распределением, а числа — предельными вероятностями состояний.

Предельное распределение можно найти как собственный вектор матрицы ( транспонированная), соответствующий собственному значению .

Пример 2. Задана матрица вероятностей перехода цепи Маркова из состояния в состояние за один шаг. Найти матрицу перехода из состояния в состояние за два шага и вероятность появления цепочки состояний — — за два шага. Выяснить, можно ли к матрице применить теорему Маркова. Если да, найти предельное распределение.

Решение. Матрицу получаем по формуле (2)

Вероятность появления цепочки состояний — — за два шага равна , т.е. такой последовательности состояний наблюдаться не может.

Матрица получилась положительной, а это означает, что предельные вероятности существуют. Найдем вектор как собственный вектор матрицы

из матричного уравнения

(4)

при , т.е.

или из системы

Эта система равносильна системе

Решая ее, например методом Жордана-Гаусса, получим

~ ~ , откуда

А с учетом (3)

т.е. в стационарном режиме система в среднем всего времени находится в состоянии , — в состоянии и — в состоянии .

II. Рассмотрим марковский процесс с дискретным состоянием и непрерывным временем временем.

Для таких процессов рисуется граф состояний, вершины которого соответствуют состояниям S₀, S₁,…,S_n, а дуги − переходам из одного состояния в другое. Как правило, переход из одного состояния в другое происходит под действием простейшего потока событий с интенсивностью . Граф, дугам которого приписаны интенсивности , называется размеченным.

− вероятность того, что в момент времени система находиться в состоянии .

Для вероятностей имеет место условие нормировки:

(1)

и система уравнений Колмогорова:

(2)

Где берётся по всем состояниям , дуги из которых идут в состояния . Во второй сумме берутся все состояния , в которые идут дуги из состояния .

Особый интерес представляет случай, когда система может перейти в стационарный режим.

, − это предельные вероятности, получающиеся при . Их находят из системы:

(3)

Среди системы уравнений (3) одно лишнее (любое), его следует отбросить и добавить условие (1). Доказано, что если число состояний конечно и из каждого состояния можно перейти в любое другое, то предельные вероятности существуют.

Пример:

Найти предельные вероятности для системы, размеченный граф которой имеет вид.