назад Оглавление вперед


[Старт] [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] [24] [25] [26] [27] [28] [29] [30] [31] [32] [33] [34] [35] [36] [37] [38] [39] [40] [41] [42] [43] [44] [45] [46] [47] [48] [49] [50] [51] [52] [53] [54] [55] [56] [57] [58] [59] [60] [61] [62] [63] [64] [65] [66] [67] [68] [69] [70] [71] [72] [73] [74] [75] [76] [77] [78] [79] [80] [81] [82] [83] [84] [85] [86] [87] [88] [89] [90] [91] [92] [93] [94] [95] [96] [97] [98] [99] [100] [101] [102] [103] [104] [105] [106] [107] [108] [109] [110] [111] [112] [113] [114] [115] [116] [117] [118] [119] [120] [121] [122] [123] [124] [125] [126] [127] [128] [129] [130] [131] [132] [133] [134] [135] [136] [137] [138] [139] [140] [141] [142] [143] [144] [145] [146] [147] [148] [149] [150] [151] [152] [153] [154] [155] [156] [157] [158] [159] [160] [161] [162] [163] [164] [165] [166] [167] [168] [169] [170] [171] [172] [173] [174] [175] [176] [177] [178] [179] [180] [181] [182] [183] [184] [185] [186] [187] [188] [189] [190] [191] [192] [193] [194] [195] [196] [197] [198] [199] [200] [201] [202] [203] [204] [205] [206] [207] [208] [209] [210] [211] [212] [213] [214] [215] [216] [217] [218] [219] [220] [221] [222] [223] [224] [225] [226] [227] [228] [229] [230] [231] [232] [233] [234] [235] [236] [237] [238] [239] [240] [241] [242] [243] [244] [245] [ 246 ] [247] [248] [249] [250] [251] [252] [253] [254] [255] [256] [257] [258] [259] [260] [261] [262] [263] [264] [265] [266] [267] [268] [269] [270] [271] [272] [273] [274] [275] [276] [277] [278] [279] [280] [281] [282] [283] [284] [285] [286] [287] [288] [289] [290] [291] [292] [293]


246

Абсолютные и переходные вероятности. При заданных вероятностях состояний aJ°J и матрице переходных вероятностей Р абсолютные вероятности состояний

системы после определенного числа переходов определяются следующим образом. Пусть - абсолютные вероятности состояний системы после п переходов, т.е.

в момент ta. Величины ап) можно выразить в общем виде через и Р посред-

ством следующего соотношения:

(О (°) (°) . (о) . V (о)

Следовательно,

где р = РьРд - двухшаговая вероятность, или переходная вероятность второ-

го порядка, т.е. вероятность перехода из состояния k в состояние j в точности за два шага.

Подобным образом по индукции можно показать, что

где р - «-шаговая переходная вероятность (или переходная вероятность л-го порядка), определяемая рекуррентной формулой

р\ -L.P* Рч-ii

В общем виде для произвольных i и ; имеем

pMpW. 0<и<я. *

Эти уравнения известны как уравнения Колмогорова-Чепмена.

Элементы матриц переходов высших порядков ЦрЦ можно получить непосредственно путем перемножения матриц. Так, например,

MHKIIIkK

и в общем случае

pW=p-p = p-.

Следовательно, если абсолютные вероятности состояний определены в векторной форме как

aw=a(V.



Пример 19.5.1

Рассмотрим цепь Маркова с двумя состояниями. Матрица переходных вероятностей имеет вид

0,2 0,8 0,6 0,4

и а0 = (0,7, 0,3). Найдем а", а41 и а"

Р2 =

0,6 0,4

р4 = р2р2 р8=р4р4

0.443 0,557 0,418 0,582)

Таким образом,

0,2 0,8Y0,2 0,8W0,52 0,48 0,6 0,4J t,0,36 0,64j

0,52 0,48Y0,52 0,48> 0,36 0,64Д0,36 0,64

0,443 0,557Y0.443 0,557 (0,4291 0,5709

0,418 0,582Д0.418 0,582J ~ [0,4284 0,5716J"

m f 0,2 0,8Л

a<" =(0,7,0,3) o>4J = (0,32, 0,68),

,4) (0,443 0,5571

a1 =(0,7,0,3) =(0,436,0,564),

0,418 0,582

m (0,4291 0,57094;

a(8) =(0,7,0,3) =(0,4289,0,5711).

\0,4284 0,5716j

Отметим, что строки матрицы Р8 незначительно отличаются друг от друга. Кроме

(8) u п8

того, вектор а также несущественно отличается от каждой из строк матрицы Р . Это связано с тем, что абсолютные вероятности состояний после выполнения нескольких переходов практически не зависят от начальных вероятностей а<0). В том случае, когда они действительно не будут зависеть от начальных вероятностей, их называют установившимися.

Классификация состояний марковских цепей. При рассмотрении цепей Маркова нас может интересовать поведение системы на коротком отрезке времени. В таком случае абсолютные вероятности вычисляются так, как показано в предыдущем разделе. Однако более важно изучить поведение системы на большом интервале времени, т.е. в условиях, когда число переходов стремится к бесконечности. В этом случае изложенный выше метод непригоден; требуется систематический подход, позволяющий прогнозировать долгосрочное поведение системы. Ниже вводятся определения состояний марковских цепей, которые необходимы для изучения долгосрочного поведения системы.

Неприводимая марковская цепь. Цепь Маркова называется неприводимой, если любое состояние Ej может быть достигнуто из любого другого состояния £( за

конечное число переходов, т.е. при i Ф j p\f > 0 для 1 < п < оо. В этом случае все состояния цепи называются сообщающимися.



Замкнутое множество состояний и поглощающие состояния. Множество С состояний цепи Маркова называется замкнутым, если система, однажды оказавшаяся в одном из состояний этого множества, будет находиться в множестве С в течение бесконечного интервала времени. Частным случаем замкнутого множества является единственное состояние £у с переходной вероятностью рм= \ В этом

случае состояние Ej называется поглощающим. Все состояния неприводимой цепи должны образовывать замкнутое множество, и ни одно подмножество этого множества не может быть замкнутым. Замкнутое множество С удовлетворяет всем условиям, характеризующим марковскую цепь, и, следовательно, его можно подвергнуть независимому анализу.

Пример 19.5.2

Рассмотрим цепь Маркова со следующей матрицей переходных вероятностей

р = 1

Эта цепь графически представлена на рис. 19.1. Как видно из рисунка, четыре состояния не составляют неприводимую цепь, поскольку состояний 0, 1 и 2 нельзя достичь из состояния 3. Состояние 3 образует замкнутое множество и, таким образом, является поглощающим. Можно также утверждать, что состояние 3 соответствует неприводимой цепи Маркова.

Рис. 19.1. Различные виды состояний цепи Маркова

Первое время возвращения. Важным понятием в теории марковских цепей является первое время возвращения. Система, первоначально находящаяся в состоянии Ejt может вернуться в первый раз в это же состояние через п шагов, п > 1. Число шагов, за которое система возвращается в состояние Ejt называется первым временем возвращения.

Обозначим через вероятность того, что первое возвращение в состояние Ej

состоится на л-м шагу. Тогда при заданной матрице переходных вероятностей

Р = piy /j" можно определить следующим образом:

[Старт] [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] [24] [25] [26] [27] [28] [29] [30] [31] [32] [33] [34] [35] [36] [37] [38] [39] [40] [41] [42] [43] [44] [45] [46] [47] [48] [49] [50] [51] [52] [53] [54] [55] [56] [57] [58] [59] [60] [61] [62] [63] [64] [65] [66] [67] [68] [69] [70] [71] [72] [73] [74] [75] [76] [77] [78] [79] [80] [81] [82] [83] [84] [85] [86] [87] [88] [89] [90] [91] [92] [93] [94] [95] [96] [97] [98] [99] [100] [101] [102] [103] [104] [105] [106] [107] [108] [109] [110] [111] [112] [113] [114] [115] [116] [117] [118] [119] [120] [121] [122] [123] [124] [125] [126] [127] [128] [129] [130] [131] [132] [133] [134] [135] [136] [137] [138] [139] [140] [141] [142] [143] [144] [145] [146] [147] [148] [149] [150] [151] [152] [153] [154] [155] [156] [157] [158] [159] [160] [161] [162] [163] [164] [165] [166] [167] [168] [169] [170] [171] [172] [173] [174] [175] [176] [177] [178] [179] [180] [181] [182] [183] [184] [185] [186] [187] [188] [189] [190] [191] [192] [193] [194] [195] [196] [197] [198] [199] [200] [201] [202] [203] [204] [205] [206] [207] [208] [209] [210] [211] [212] [213] [214] [215] [216] [217] [218] [219] [220] [221] [222] [223] [224] [225] [226] [227] [228] [229] [230] [231] [232] [233] [234] [235] [236] [237] [238] [239] [240] [241] [242] [243] [244] [245] [ 246 ] [247] [248] [249] [250] [251] [252] [253] [254] [255] [256] [257] [258] [259] [260] [261] [262] [263] [264] [265] [266] [267] [268] [269] [270] [271] [272] [273] [274] [275] [276] [277] [278] [279] [280] [281] [282] [283] [284] [285] [286] [287] [288] [289] [290] [291] [292] [293]