назад Оглавление вперед


[Старт] [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] [24] [25] [26] [27] [28] [29] [30] [31] [32] [33] [34] [35] [36] [37] [38] [39] [40] [41] [42] [43] [44] [45] [46] [47] [48] [49] [50] [51] [52] [53] [54] [55] [56] [57] [58] [59] [60] [61] [62] [63] [64] [65] [66] [67] [68] [69] [70] [71] [72] [73] [74] [75] [76] [77] [78] [79] [80] [81] [82] [83] [84] [85] [86] [87] [88] [89] [90] [91] [92] [93] [94] [95] [96] [97] [98] [99] [100] [101] [102] [103] [104] [105] [106] [107] [108] [109] [110] [111] [112] [113] [114] [115] [116] [117] [118] [119] [120] [121] [122] [123] [124] [125] [126] [127] [128] [129] [130] [131] [132] [133] [134] [135] [136] [137] [138] [139] [140] [141] [142] [143] [144] [145] [146] [147] [148] [149] [150] [151] [152] [153] [154] [155] [156] [157] [158] [159] [160] [161] [162] [163] [164] [165] [166] [167] [168] [169] [170] [171] [172] [173] [174] [175] [176] [177] [178] [179] [180] [181] [182] [183] [184] [185] [186] [187] [188] [189] [190] [191] [192] [193] [194] [195] [196] [197] [198] [199] [200] [201] [202] [203] [204] [205] [206] [207] [208] [209] [210] [211] [212] [213] [214] [215] [216] [217] [218] [219] [220] [221] [222] [223] [224] [225] [226] [227] [228] [229] [230] [231] [232] [233] [234] [235] [236] [237] [238] [239] [240] [241] [242] [243] [244] [245] [246] [ 247 ] [248] [249] [250] [251] [252] [253] [254] [255] [256] [257] [258] [259] [260] [261] [262] [263] [264] [265] [266] [267] [268] [269] [270] [271] [272] [273] [274] [275] [276] [277] [278] [279] [280] [281] [282] [283] [284] [285] [286] [287] [288] [289] [290] [291] [292] [293]


247

Г В J JJ J JJ rjj!

/(.2, = Р(2)-/(У.

J JJ " JJ J л г II

По индукции нетрудно показать, что

/<"> = »<"> у /.-)„(.-).

,0 ОУ Гц

Отсюда следует, что вероятность по крайней мере одного возвращения в состояние Ej задается формулой

Следовательно, система обязательно вернется в состояние j, если /. = 1 . Обозначив через среднее время возвращения, получаем

»jj=t<]-

Если fu < 1, то неизвестно, вернется ли система в состояние Et , и, следовательно, Ц=оо.

Исходя из определения первого времени возвращения, состояния марковской цепи можно классифицировать следующим образом.

1. Состояние является невозвратным, если у\ < 1, т.е. ц;> =<х>.

2. Состояние является возвратным, если fM= \.

3. Возвратное состояние является нулевым, если ци= оо, и ненулевым, когда

< оо (т.е. конечно).

4. Состояние называется периодическим с периодом t, если возвращение в него возможно только через число шагов, кратное t: t, 2t, 3t, ... Это означает, что

если п не делится на t без остатка, то pf = 0 .

5. Возвратное состояние является эргодическим, если оно ненулевое и апериодическое.

Если все состояния цепи Маркова являются эргодическими, то цепь неприводи-ма. В этом случае распределение абсолютных вероятностей состояний

аН=а(о)р»

всегда однозначно сходится к предельному распределению при п -» оо, где предель-

и (о)

ное распределение не зависит от начальных вероятностей лу. Справедлива следующая теорема.

Теорема 19.5.1. Все состояния в неприводимой бесконечной цепи Маркова могут принадлежать к одному и только одному из следующих трех классов: невоз-



вратных, возвратных нулевых или возвратных ненулевых состояний. Во всех случаях все состояния являются сообщающимися и имеют один и тот же период. В частном случае, когда в цепи конечное число состояний, она не может содержать только невозвратные или какие-либо нулевые состояния.

Предельные распределения в неприводимых цепях Маркова. Из примера 19.5.1 видно, что с ростом числа переходов абсолютная вероятность состояний становится независимой от начального распределения. В данном разделе описывается метод вычисления предельного распределения вероятностей состояний в неприводимой цепи. Мы ограничимся рассмотрением только апериодических состояний, так как это единственный класс состояний, используемый в дальнейшем. Кроме того, анализ периодических состояний является довольно сложным.

Существование предельного распределения в неприводимой апериодической цепи зависит от класса ее состояний. Таким образом, рассматривая три класса состояний, указанных в теореме 19.5.1, можно сформулировать следующую теорему.

Теорема 19.5.2. Если в неприводимой апериодической цепи Маркова

а) все состояния невозвратные или нулевые, то рп) -> 0 при п->оо для всех i и j и предельного распределения не существует,

б) все состояния эргодические, то

lima"= я,, у = 0, 1, 2, ....

где nj - предельное (установившееся) распределение. Вероятности nj определяются однозначно и не зависят от я}0. Величины /гу можно определить из системы уравнении

Среднее время возвращения в состояние j при этом определяется формулой

Пример 19.5.3

Рассмотрим задачу из примера 19.5.1. Для определения установившегося распределения вероятностей используем соотношения

я, =0,2;!, +0,6ti2, 7i2 =0,871, +0,4ti2,

7t, + 7t2 = 1.

1 Заметим, что одно из уравнений nt = jt,p является избыточным.



Решением будет я-, = 0,4286 и лг = 0,5714. Эти результаты очень близки к значениям элементов вектора а(8) (и строкам матрицы Р8) из примера 19.5.1. Далее получаем значения среднего времени возвращения в первое и второе состояния

р„= -= 2,3, р22 = -= 1,75 . я, я2

Пример 19.5.4

Рассмотрим следующую цепь Маркова с тремя состояниями:

1 2

Р=1 2

0 ±

4 1 4 1 2

Такая матрица называется дважды стохастической, так как

1=1 у.

где i - число состояний цепи Маркова. В таких случаях установившиеся вероятности равны л., = 1/s для всех j. Поэтому для данной задачи л0 = лх = л2 = 1/3.

УПРАЖНЕНИЯ 19.5

1. Определите класс состояний приведенных ниже цепей Маркова и найдите их стационарные распределения.

2. Найдите среднее время возвращения в каждое состояние цепи Маркова, заданной следующей матрицей переходных вероятностей.

[Старт] [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] [24] [25] [26] [27] [28] [29] [30] [31] [32] [33] [34] [35] [36] [37] [38] [39] [40] [41] [42] [43] [44] [45] [46] [47] [48] [49] [50] [51] [52] [53] [54] [55] [56] [57] [58] [59] [60] [61] [62] [63] [64] [65] [66] [67] [68] [69] [70] [71] [72] [73] [74] [75] [76] [77] [78] [79] [80] [81] [82] [83] [84] [85] [86] [87] [88] [89] [90] [91] [92] [93] [94] [95] [96] [97] [98] [99] [100] [101] [102] [103] [104] [105] [106] [107] [108] [109] [110] [111] [112] [113] [114] [115] [116] [117] [118] [119] [120] [121] [122] [123] [124] [125] [126] [127] [128] [129] [130] [131] [132] [133] [134] [135] [136] [137] [138] [139] [140] [141] [142] [143] [144] [145] [146] [147] [148] [149] [150] [151] [152] [153] [154] [155] [156] [157] [158] [159] [160] [161] [162] [163] [164] [165] [166] [167] [168] [169] [170] [171] [172] [173] [174] [175] [176] [177] [178] [179] [180] [181] [182] [183] [184] [185] [186] [187] [188] [189] [190] [191] [192] [193] [194] [195] [196] [197] [198] [199] [200] [201] [202] [203] [204] [205] [206] [207] [208] [209] [210] [211] [212] [213] [214] [215] [216] [217] [218] [219] [220] [221] [222] [223] [224] [225] [226] [227] [228] [229] [230] [231] [232] [233] [234] [235] [236] [237] [238] [239] [240] [241] [242] [243] [244] [245] [246] [ 247 ] [248] [249] [250] [251] [252] [253] [254] [255] [256] [257] [258] [259] [260] [261] [262] [263] [264] [265] [266] [267] [268] [269] [270] [271] [272] [273] [274] [275] [276] [277] [278] [279] [280] [281] [282] [283] [284] [285] [286] [287] [288] [289] [290] [291] [292] [293]