модели и для обучения нейронной сети, а другие 153 остались для тестирования. Наша задача, по-прежнему, состояла в прогнозировании ряда X, по значениям и у, ,.

В табл. 3.3 представлены результаты, касающиеся регрессии. Коэффициент при у, 1 очень близок к нулю при 95-процентном доверительном уровне, в то время как сдвиг и коэффициент при х,.]

существенно отличны от нуля. Уточненный равен 0.39. Затем с помощью этой модели был сделан прогноз на 153 шага, при этом квадратный корень из среднеквадратичной ошибки оказался равным 0.1796. Из рассмотрения рис. 3.15 становится ясно, что природа этой ошибки- та же, что была на фазовом портрете рис. 3.12: регрессия не ухватывает существо динамической модели. Очевидно, ошибка метода регрессии недопустимо велика.

0.18 -0.16 -

I 0.14

0.12 h

0.1 0.08 0.06 0.04 0.02 0

0.50.60.7

Прогноз no регрессионной модели

Рис. 3.15. Ошибка регрессионной модели

Таблица 3.3. Регрессия для отображения Хенона с шумом

Применяя к тому же набору данньгх нейронно-сетевую модель, мы обучали 2-2-1 MBPN-сеть, имеющую те же параметры, что и в случае задачи Хенона без шума. Проделав обучение из 100 эпох на первой половине данных, мы сделали прогноз относительно другой половины. Чтобы сравнить результаты для сети и регрессии, мы так-

же изобразили на диаграмме (рис. 3.16) совместное распределение прогноза сети и квадратичной ошибки прогноза. 0.2

о к д к

0.18 0.16 0.14 0.12 0.1 0.08 -0.06 0.04 0.02 О

0.2 0.3 0.4 0.5 0.6

Прогноз по нейронно-сетевой модели

Рис. 3.16. Квадратичная ошибка прогноза многослойной сетью со спуском

В отличие от рефессионной модели, прогноз сети почти не имеет искажений. Соответственно, и RMSE сетевого прогноза (0.0225) значительно меньше, чем у регрессии (0.1796). Можно сделать вывод, что даже в присутствии шума сеть способна распознавать структуру процесса и выдавать надежный прогноз.

УПРОЩЕННЫЙ ВАРИАНТ МОДЕЛИ ХЕНОНА

В силу того, что модель Хенона- двумерная, нейронные сети имеют здесь «фору» перед одномерными методами типа регрессии. Чтобы устранить эту несправедливость, подставим в уравнение (7) выражение для у, в результате чего получится следующее уравнение:

X, =1-ь0.3х, 2-1.4х, 1.(8)

Теперь мы можем проделать анализ нашей модели стандартными одномерными методами анализа временных рядов, например, методом Бокса-Дженкинса, а затем сравнить результаты с тем, что дает нейронная сеть с единственным входом, на который подаются предыдущие значения переменной. Как и в предыдущем примере, к процессу Хенона мы добавили 10-процентный случайный шум. Временно представим себе, что мы не располагаем никакой информацией, кроме самих числовых данньгх. Обычно в таких случаях, начертив данные на графике, пытаются применить модель ARIMA, т.е. стараются найти закономерности типа авторегрессии или скользящего среднего. В табл. 3.4 представлены результаты анализа методом Бокса-Дженкинса для 5 лагов.

Таблица 3.4. Автокорреляция на обучающих данных для ряда Хенона с шумом

Поскольку после четырех лагов (за исключением 2-го) коэффициенты автокорреляции и частной автокорреляции невелики, мы делаем вывод, что метод AR(4) подходит для этого ряда. Мы делаем прогноз для второй половины набора данных, исходя из четырех предыдущих значений х. Квадратный корень из среднеквадратичной ошибки (RMSE) прогноза равен 0.3642 .

Этот же ряд мы проанализировали с помощью многослойной сети (MBPN). Зная вид модели, следовало бы взять сеть с двумя входами, но чтобы сохранить аналогию с четырьмя предыдущими значениями в методе Бокса-Дженкинса, мы выбрали архитектуру 4-2-1. Процесс обучения сети сходился не так хорошо, как в предыдущих двумерньгх примерах. При этом сходимость улучшалась, когда выбирались маленькие начальные значения весов (случайным образом на отрезке [-0.1,0.1]) и коэффициента обучения (0.1). Обучение прекращалось после 4000 эпох. В этот момент RMSE на пробном отрезке ряда (том же самом, что и в методе AR(4)) был равен 0.0649 и продолжал уменьшаться. Различие в точности прогноза сетью и линейной моделью оказалось здесь примерно таким же, как и в предыдущих экспериментах. Это хорошо видно на рис. 3.17, где результаты прогноза по обеим моделям сравниваются с точными значениями.

Как и следовало ожидать (учитывая, что ряд порожден моделью Хенона), прогноз по модели AR(4) имеет искажение параболической формы. При внимательном изучении прогноза сети также можно заметить легкую синусоидальную волну вокруг истинных значений. Однако, амплитуда искажения здесь во много раз меньше.

Прогноз AR(4) о Прогноз нейронной сети

-Верный прогноз

I 0.4 - .г«• Т

о -JS- I \ I

о0.20.40.60.81

-0.2 LXj-истинное

Рис. 3.17. Прогноз по модели AR{A) и по многослойной сетям 4-2-1 MBPN

Взяв 4-мерный вход и не предполагая никаких знаний о модели, мы умышленно имели дело с сетью, содержащей лишние элементы. Как это обстоятельство повлияло на формирование весов в результате обучения сети? Для лучшего понимания вопроса в табл. 3.5 веса обученной сети представлены в сравнении с аналогичными весами двумерной сети (последние указаны в скобках). Веса входов, соответствующих f-1 и t-2, имеют для 4-лаговой и 2-лаговой моделей один и тот же знак и примерно одинаковую величину (по отношению к порогу). Этот факт, а также малая среднеквадратичная ошибка прогноза 4-2-1 сети на новых образцах говорят об устойчивости характеристик сети при добавлении в нее лишних элементов.

Узел123456

((-4) ((-3) ((-2) ((-1) скрытый скрытый

порог

50.0335819 0.0880925 0.320498 -5.11489

(0.35698) (-5.84001)

60.090955 0.404738 0.764702 -7.35403

(-1.02628) (-10.7995)

710.3205 Выход

446777 (5.19349) 1.78196 (2.66209) -5.84991 -7.05268

(9.10849) (-3.86574) (-6.4816)

Таблица 3.5. Веса обученной 4-2-1 (2-2-1) сети для временного ряда Хенона с шумом

Сравнение результатов прогноза

В заключение этой главы мы сравним качество прогноза, выдаваемого нелинейной нейронной сетью, с тем, что получается по методу линейной регрессии, с помощью другой меры отклонения - ЭТ. Эта мера была предложена Вигендом [275] и определяется как отношение остаточной дисперсии нелинейной модели к остаточной дис-

0.8 0.6 0.4 I-

76 Банкротства, паники и безумия

персик линейной модели. Если две модели работают одинаково хорошо, это отношение равно 1. Малые значения 9? указывают на относительное превосходство нелинейной модели. В эксперименте с временным рядом Хенона величина 5R была равна 0.12, что говорит о значительном превосходстве MBPN модели перед методом ARIMA. В последующих главах мы будем использовать отношение Ш для оценки прогнозов, касающихся реальных рыночных данных.

НЕКОТОРЫЕ ИТОГОВЫЕ ЗАМЕЧАНИЯ

Все описанные в этой главе эксперименты показали хорошую способность MBPN-моделей к обнаружению нелинейных связей во временных рядах финансовых показателей. Это проявлялось в ро-бастности прогноза на тестовых данных. Для фавнения мы применяли также традиционные линейные методы, предполагая при этом, что ничего не знаем о структуре входного ряда. Конечно, имеются более сильные статистические методы, например, такие, где учитывается зависимость дисперсии от прошлых значений (ARCH), или пороговые авторегрессионные модели (TAR), и с их помощью можно находить сложные нелинейные связи. В этой главе мы хотели подчеркнуть тот факт, что методы нейронньпс сетей не предполагают никаких предварительных знаний о модели. Единственное, что нужно - это значения переменных, а далее сеть уже сама приспосабливается к имеющейся структуре.

Мы хорошо понимаем, что прогнозы, «не зависящие от модели» и сделанные без понимания экономики, - вещь опасная. Мы приветствовали бы любую попытку приоткрыть «черный ящик» нейронной сети. Для этого обязательно потребуются статистические методы- как основные, так и более специальные. В этом смысле нейронные сети можно считать новым полем для приложения этих методов. Основываясь на результатах экспериментов этой главы, мы считаем, что разумным первым шагом для выявления «истинной» модели, описывающей данные, было бы тщательное изучение (с помощью всех доступных федств) прогноза, выдаваемого «наивной», но хорошо обученной MBPN-сетью, и его фавнение с прогнозом по «наивной» линейной модели.

И последнее замечание. Теория хаоса - это лишь одна из теорий, предназначенных для описания экономических явлений. Из того, что поведение финансовых временных рядов может быть воспроизведено, еще не следует, что механизмы нелинейной обратной связи, действительно, существуют. Опытных данных тут пока не так много. Если нелинейные обратные связи в экономической информации полностью отсутствуют, то обнаружить их никакими методами не удастся, и поэтому необходимым первым шагом для аналитика

Примечания 77

должно стать выяснение факторов, определяющих эндогенное поведение.

ПРИМЕЧАНИЯ

1 В нашей модели парабола смотрит ветвями вверх. Во многих публикациях описаны примеры логистических отображений, где также наблюдается парабола, но она смотрит вниз. Хаотический характер обратной связи в обоих случаях сходный.

Вероятно, для этой задачи лучше подходит не модель ARIMA, а модели семейства ARCH (autoregressive conditional heteroschedasticity). Рассмотрение этих моделей выходит за рамки данной книги. Подробное их описание можно найти, например, в [224].

Предположение, что доходы на капитал имеют нормальное распределение, в академической литературе часто подвергается сомнению (см. [252]). При этом речь идет о попытках объяснения банкротств и/или эйфорических ценовых шоков.

*Здесь мы имеем суперпозицию ситмоидальных функций.

5 Во многих проведенных нами имитационньгх тестах мы пользовались случайными выборками из нормального распределения. Такие выборки были получены на основе центральной предельной теоремы математической статистики. Эта теорема утверждает, что сумма независимых равномерно распределенных случайных величин является случайной величиной, распределенной нормально. Сгенерировав к равномерно распределенных случайных величин, мы получаем первую нормально распределенную величину из формулы:1-: !;([,!:{

У*" RAND;-it/2

yfk/n

Из следующих к равномерно распределенных величин получается вторая нормальная величина, и т.д. При увеличении к эта формула все лучше аппроксимирует нормальное распределение. В пределе /с -> «> распределение величины п стремится к нормальному распределению с нулевым средним и стандартным отклонением, равным единице. Затем мы преобразуем п в тестовое число по формуле:

Тестовое число =стп Во всех тестах мы брали упрощенный вариант алгоритма с /с = 12:.

12.

n = RANDj-6.

Аппроксимация получалась более грубой в области хвостов распределения, т.е. там, где значения переменной наиболее далеки от среднего. Это могло привести к некоторым искажениям в наших тестах Мы, однако, игнорируем это обстоятельство, поскольку тесты нам нужны только для того, чтобы проиллюстрировать возможности нейронных сетей.

*Разумеется, упорный статистик применил бы еще другие критерии, рассмотрел другие спецификации модели и преобразования данных и добился бы лучшего соответствия результатов. В этой главе мы только хотим показать, что обучение MBPN-сети и сравнение сделанного ею прогноза с наивной линейной моделью может служить полезным дополнением к традиционному статистическому подходу.

Применив модель ARIMA и используя полученные по ней результаты, можно затем применить модель ARCH. Здесь мы опять хотим сказать, что нейронная сеть, во всяком случае, может быть полезным добавлением к чисто статистическим методам.