назад Оглавление вперед


[Старт] [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] [24] [25] [26] [27] [28] [29] [30] [31] [32] [33] [34] [35] [36] [37] [38] [39] [40] [41] [42] [43] [44] [45] [46] [47] [48] [49] [50] [51] [52] [53] [54] [55] [56] [57] [58] [59] [60] [61] [62] [63] [64] [65] [66] [67] [68] [69] [70] [71] [72] [73] [74] [75] [76] [77] [78] [79] [80] [81] [82] [83] [84] [85] [86] [87] [88] [89] [90] [91] [92] [93] [94] [95] [96] [97] [98] [99] [100] [101] [102] [103] [104] [105] [106] [107] [108] [109] [110] [111] [112] [113] [114] [115] [116] [117] [118] [119] [120] [121] [122] [123] [124] [125] [126] [127] [128] [129] [130] [131] [132] [133] [134] [135] [136] [137] [138] [139] [140] [141] [142] [143] [144] [145] [146] [147] [148] [149] [150] [151] [152] [153] [154] [155] [156] [157] [158] [159] [160] [161] [162] [163] [164] [165] [166] [167] [168] [169] [170] [171] [172] [173] [174] [175] [176] [177] [178] [179] [180] [181] [182] [183] [184] [185] [186] [187] [188] [189] [190] [191] [192] [193] [194] [195] [196] [197] [198] [199] [200] [201] [202] [203] [204] [205] [206] [207] [208] [209] [210] [211] [212] [213] [214] [215] [216] [217] [218] [219] [220] [221] [222] [223] [224] [225] [226] [227] [228] [229] [230] [231] [232] [233] [234] [235] [236] [237] [238] [239] [240] [241] [242] [ 243 ] [244] [245] [246] [247] [248] [249] [250] [251] [252] [253] [254] [255] [256] [257] [258] [259] [260] [261] [262] [263] [264] [265] [266] [267] [268] [269] [270] [271] [272] [273] [274] [275] [276] [277] [278] [279] [280] [281] [282] [283] [284] [285] [286] [287] [288] [289] [290] [291] [292] [293]


243

vf + A*/(l)+/4/(2) + /(3)

Оптимальное решение

/с= 1

к = 2

f(i) к

5,3 + 0,2 х 12,88 + 0,5 х 8 + 0,3 х 0 = 11,875

4,7+ 0,3x12,88 +0,6 х

8 + 0,1 х0 =

13,36

13,36 2

3 + 0 х 12,88 + 0,5 х 8 + 0,5 х 0 = 7

3,1 +0,1 х 12,88 + 0,6 х

8 + 0,3x0 =

9,19

9,19 2

-1 + 0x12,88 + 0x8 + 1 х0 = -1

0,4 + 0,05x12,88 + 0,4 х

8 + 0,55 х 0

= 4,24

4,24 2

Новая стратегия предусматривает применение удобрений независимо от состояния почвы. Так как новая стратегия отличается от предыдущей, повторяется шаг оценки параметров. Новой стратегии соответствуют матрицы

Г 0,3

5 -Г

, R =

4 0

0,05

0,55 j

3 -2,

Эти матрицы определяют следующие уравнения:

£ + /(1)-0,3/(1)-0,6/(2)-0,1/(3) = 4,7,

£ + /(2)-0,1/(1)-0,6/(2)-0,3/(3) = 3,1,

£ + /(3)-0,05/(1)-0,4/(2)-0,55/(3) = 0,4.

Снова полагаяДЗ) = 0, получаем решение

£ = 2,26, /(1) = 6,75, /(2) = 3,80, /(3) = 0.

Результаты вычислений на шаге улучшения стратегии приведены в следующей таблице.

vf + A/(0 + A<2/(2) + 3/(3)

Оптимальное решение

/с= 1

к = 2

т к

5,3 + 0,2 х 6,75 + 0,5 х 3,80 + 0,3 х 0 = 8,55

4,7 + 0,3 х 6,75 + 0,6 х 3,80 + 0,1 х 0

= 9,01

9,01 2

3 + 0 х 6,75 + 0,5 х 3,80 + 0,5 х 0 = 4,90

3,1 + 0,1 х 6,75 + 0,6 х 3,80 + 0,3 х 0

= 6,06

6,06 2

-1 + 0 х 6,75 + 0 х 3,80 + 1 х 0 = -1

0,4 + 0,05 х 6,75 + 0,4 х 3,80 + 0,55 х 0

= 2,26

2,26 2

Новая стратегия, требующая применения удобрений независимо от состояния системы, идентична предыдущей, поэтому последняя стратегия оптимальна и итеративный процесс заканчивается. Естественно, что этот результат совпадает с результатом, полученным методом полного перебора (подраздел 19.3.1). Однако следует отметить, что метод итераций по стратегиям достаточно быстро сходится к оптимальному решению, что является его характерной особенностью.



УПРАЖНЕНИЯ 19.3.2

1. Пусть в задаче упражнения 19.2.1 горизонт планирования бесконечен. Решите эту задачу методом итераций по стратегиям.

2. Решите задачу упражнения 19.2.2 методом итераций по стратегиям, предполагая, что горизонт планирования бесконечен.

3. Решите задачу упражнения 19.2.3 методом итераций по стратегиям, предполагая, что горизонт планирования бесконечен.

19.3.3. Метод итераций по стратегиям с дисконтированием

Описанный метод итераций по стратегиям можно обобщить на случай дисконтирования. Если обозначить через а (< 1) коэффициент дисконтирования (переоценки), то рекуррентное уравнение при конечном числе этапов можно записать в следующем виде (см. раздел 19.2)

(Отметим, что п равно числу этапов, которые необходимо рассмотреть.) Можно показать, что при п -» оо (модель с бесконечным числом этапов) fi) = f(i), где f(i) - приведенный к текущему моменту времени дисконтированный доход при условии, что система находится в состоянии i и функционирует на бесконечном интервале времени. Таким образом, долгосрочное поведение fi) при п -> со не зависит от значения п. В этом состоит отличие от случая без дисконтирования, когда fiJLi)" tjE + f(i). Этого следовало ожидать, так как в случае с дисконтированием влияние будущих доходов асимптотически уменьшается до нуля. Действительно приведенный доход f(i) должен стремиться к постоянной величине при 77 -»<».

С учетом вышеизложенного в данном случае при использовании метода итераций по стратегиям выполняются следующие действия.

1. Шаг оценки параметров. Для произвольной стратегии s с матрицами Р* и R решаем систему из т уравнений

относительно т неизвестных f(l), f(2),f(m).

2. Шаг улучшения стратегии. Для каждого состояния i определяем альтернативу k, обеспечивающую

где f(j) имеют значения, определенные на шаге оценки параметров. Если полученная стратегия t совпадает со стратегией s, то алгоритм закончен; в этом случае стратегия t оптимальна. В противном случае полагаем s = t и повторяем шаг оценки параметров.

Решим задачу из примера 19.3.2 с учетом коэффициента дисконтирования а= 0,6.

Пример 19.3.3



Выберем произвольную стратегию, например s= {1,1, 1}. Матрицы Р и R (Р1 и R1 в примере 19.3.1) определяют уравнения

/(1) - 0,б[0,2/(1) + 0,5/(2) + 0,3/(3)] = 5,3,

/(2)-0,б[ 0,5/(2) + 0,5/(3)] = 3,

/(з)-о,б[ +/(з)] = -1.

Решение этих уравнений дает

/1 = 6,61,/2 = 3,21,/3 = -2,5.

Результаты вычислений итерации по улучшению стратегии приведены в следующей таблице.

vf + 0,6[/(1) + /4/(2) + /4/(3)] Оптимальное

решение

к = 2

5,3 + 0,6[0,2 х 6,61 + 0,5 х 3,21 + 0,3 х х (-2,5)] = 6,61

4,7 + 0,6[0,3 х 6,61 + 0,6 х х (-2,5)] = 6,90

3,21 + 0,1 х

6,90

3 + 0,6[0 х 6,61 + 0,5 х 3,21 + 0,5 х х (-2,5)] = 3,21

3,1 +0,6[0,1 х6,61 +0,6х х (-2,5)] = 4,2

3,21 + 0,3 х

-1 + 0,6[0 х 6,61 + 0 х 3,21 + 1 х х (-2,5)] = -2,5

0,4 + 0,6[0,05 х 6,61 + 0,4 х (-2,5)] = 0,54

х 3,21 + 0,55 х

0,54

Шаг оценки параметров, выполненный на основе матриц Р2 и R2 (пример 19.3.1), приводит к следующим уравнениям.

/(1) - 0,б[0,3/(1) + 0,6/(2) + 0,1/(3)] = 4,7, /(2) - 0,б[0,1/(1) + 0,6/(2) + 0,3/(3)] = 3,1, /(3) - 0,б[0,05/(1) + 0,4/(2) + 0,55/(3)] = 0,4. Решением этих уравнений будет

у; = 8,89,/2 = 6,62,/3 = 3,37.

Результаты, полученные на шаге улучшения стратегии, приведены в следующей таблице.

vf +0,6[Л*/(1)+ pkJ{2) + />*ДЗ)]

Оптимальное решение

к = 1

к = 2

Л7) к

5,3 + 0,6[0,2 х 8,89 + 0,5 х 6,62 + 0,3 х х 3,37] = 8,96

4,7 + 0,6[0,3 х х 3,37] = 8,89

8,89 + 0,6 х

6,62 + 0,1 х

8,96 1

3 + 0,6[0 х 8,89 + 0,5 х 6,62 + 0,5 х х 3,37] = 6,00

3,1 + 0,6[0,1 х х 3,37] = 6,62

8,89 + 0,6 х

6,62 + 0,3 х

6,62 2

-1 + 0,6[0 х 8,89 + 0 х 6,62 + 1 х 3,37] = = 1,02

0,4 + 0,6[0,05 х 3,37] = 3,37

х 8,89 + 0,4

х 6,62 + 0,55 х

3,37 2

Так как новая стратегия {1,2, 2} отличается от предыдущей, повторяем шаг оценки параметров с использованием матриц Р8 и R8 (пример 19.3.1). Получаем следующие уравнения.

[Старт] [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] [24] [25] [26] [27] [28] [29] [30] [31] [32] [33] [34] [35] [36] [37] [38] [39] [40] [41] [42] [43] [44] [45] [46] [47] [48] [49] [50] [51] [52] [53] [54] [55] [56] [57] [58] [59] [60] [61] [62] [63] [64] [65] [66] [67] [68] [69] [70] [71] [72] [73] [74] [75] [76] [77] [78] [79] [80] [81] [82] [83] [84] [85] [86] [87] [88] [89] [90] [91] [92] [93] [94] [95] [96] [97] [98] [99] [100] [101] [102] [103] [104] [105] [106] [107] [108] [109] [110] [111] [112] [113] [114] [115] [116] [117] [118] [119] [120] [121] [122] [123] [124] [125] [126] [127] [128] [129] [130] [131] [132] [133] [134] [135] [136] [137] [138] [139] [140] [141] [142] [143] [144] [145] [146] [147] [148] [149] [150] [151] [152] [153] [154] [155] [156] [157] [158] [159] [160] [161] [162] [163] [164] [165] [166] [167] [168] [169] [170] [171] [172] [173] [174] [175] [176] [177] [178] [179] [180] [181] [182] [183] [184] [185] [186] [187] [188] [189] [190] [191] [192] [193] [194] [195] [196] [197] [198] [199] [200] [201] [202] [203] [204] [205] [206] [207] [208] [209] [210] [211] [212] [213] [214] [215] [216] [217] [218] [219] [220] [221] [222] [223] [224] [225] [226] [227] [228] [229] [230] [231] [232] [233] [234] [235] [236] [237] [238] [239] [240] [241] [242] [ 243 ] [244] [245] [246] [247] [248] [249] [250] [251] [252] [253] [254] [255] [256] [257] [258] [259] [260] [261] [262] [263] [264] [265] [266] [267] [268] [269] [270] [271] [272] [273] [274] [275] [276] [277] [278] [279] [280] [281] [282] [283] [284] [285] [286] [287] [288] [289] [290] [291] [292] [293]