Г В J JJ J JJ rjj!
/(.2, = Р(2)-/(У.
J JJ " JJ J л г II
По индукции нетрудно показать, что
/<"> = »<"> у /.-)„(.-).
,0 ОУ Гц
Отсюда следует, что вероятность по крайней мере одного возвращения в состояние Ej задается формулой
Следовательно, система обязательно вернется в состояние j, если /. = 1 . Обозначив через среднее время возвращения, получаем
»jj=t<]-
Если fu < 1, то неизвестно, вернется ли система в состояние Et , и, следовательно, Ц=оо.
Исходя из определения первого времени возвращения, состояния марковской цепи можно классифицировать следующим образом.
1. Состояние является невозвратным, если у\ < 1, т.е. ц;> =<х>.
2. Состояние является возвратным, если fM= \.
3. Возвратное состояние является нулевым, если ци= оо, и ненулевым, когда
< оо (т.е. конечно).
4. Состояние называется периодическим с периодом t, если возвращение в него возможно только через число шагов, кратное t: t, 2t, 3t, ... Это означает, что
если п не делится на t без остатка, то pf = 0 .
5. Возвратное состояние является эргодическим, если оно ненулевое и апериодическое.
Если все состояния цепи Маркова являются эргодическими, то цепь неприводи-ма. В этом случае распределение абсолютных вероятностей состояний
аН=а(о)р»
всегда однозначно сходится к предельному распределению при п -» оо, где предель-
и (о)
ное распределение не зависит от начальных вероятностей лу. Справедлива следующая теорема.
Теорема 19.5.1. Все состояния в неприводимой бесконечной цепи Маркова могут принадлежать к одному и только одному из следующих трех классов: невоз-
вратных, возвратных нулевых или возвратных ненулевых состояний. Во всех случаях все состояния являются сообщающимися и имеют один и тот же период. В частном случае, когда в цепи конечное число состояний, она не может содержать только невозвратные или какие-либо нулевые состояния.
Предельные распределения в неприводимых цепях Маркова. Из примера 19.5.1 видно, что с ростом числа переходов абсолютная вероятность состояний становится независимой от начального распределения. В данном разделе описывается метод вычисления предельного распределения вероятностей состояний в неприводимой цепи. Мы ограничимся рассмотрением только апериодических состояний, так как это единственный класс состояний, используемый в дальнейшем. Кроме того, анализ периодических состояний является довольно сложным.
Существование предельного распределения в неприводимой апериодической цепи зависит от класса ее состояний. Таким образом, рассматривая три класса состояний, указанных в теореме 19.5.1, можно сформулировать следующую теорему.
Теорема 19.5.2. Если в неприводимой апериодической цепи Маркова
а) все состояния невозвратные или нулевые, то рп) -> 0 при п->оо для всех i и j и предельного распределения не существует,
б) все состояния эргодические, то
lima"= я,, у = 0, 1, 2, ....
где nj - предельное (установившееся) распределение. Вероятности nj определяются однозначно и не зависят от я}0. Величины /гу можно определить из системы уравнении
Среднее время возвращения в состояние j при этом определяется формулой
Пример 19.5.3
Рассмотрим задачу из примера 19.5.1. Для определения установившегося распределения вероятностей используем соотношения
я, =0,2;!, +0,6ti2, 7i2 =0,871, +0,4ti2,
7t, + 7t2 = 1.
1 Заметим, что одно из уравнений nt = jt,p является избыточным.
Решением будет я-, = 0,4286 и лг = 0,5714. Эти результаты очень близки к значениям элементов вектора а(8) (и строкам матрицы Р8) из примера 19.5.1. Далее получаем значения среднего времени возвращения в первое и второе состояния
р„= -= 2,3, р22 = -= 1,75 . я, я2
Пример 19.5.4
Рассмотрим следующую цепь Маркова с тремя состояниями:
1 2
Р=1 2
0 ±
4 1 4 1 2
Такая матрица называется дважды стохастической, так как
1=1 у.
где i - число состояний цепи Маркова. В таких случаях установившиеся вероятности равны л., = 1/s для всех j. Поэтому для данной задачи л0 = лх = л2 = 1/3.
УПРАЖНЕНИЯ 19.5
1. Определите класс состояний приведенных ниже цепей Маркова и найдите их стационарные распределения.
2. Найдите среднее время возвращения в каждое состояние цепи Маркова, заданной следующей матрицей переходных вероятностей.