назад Оглавление вперед


[Старт] [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [ 11 ] [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] [24] [25] [26] [27] [28] [29] [30] [31] [32] [33] [34] [35] [36] [37] [38] [39] [40] [41] [42]


11

5R =

вариация сетевых разностей вариация разностей регрессии

Для более тщательной проверки нелинейных возможностей нужно изобразить распределение выходных значений для скрытых элементов. Слишком большая доля крайних значений (О или 1) говорит о том, что некоторые элементы попали в режим насыщения. Еще один способ- построить совместное распределение линейного и нелинейного выходов и применить линейную регрессию. Отклонения от наклона с углом 45° говорят о том, что нелинейные возможности задействованы [84]. Между прочим, встречается точка зрения, что появление во время обучения резких изменений разностей говорит об использовании нелинейностей. К сожалению, это не соответствует действительности.

Следует также проверить, скоррелированны ли действия скрытых элементов. В многомерном регрессионном анализе при росте муль-тиколлинеарности значения коэффициентов регрессии становятся все менее надежными. Так же и здесь предпочтительно, чтобы выходы скрытых элементов одного слоя были некоррелированны. Нужно найти собственные значения корреляционной матрицы для выходов скрытых узлов по данным обработки всех обучающих примеров. При полной некоррелированности все собственные значения будут равны единице, а отличия от единицы говорят об избыточном числе скрытых элементов. Кроме того, для анализа внутреннего представления нейронно-сетевой модели часто применяются методы кластерного анализа (см. [127]).

Доводка

При построении системы прогноза преследуется цель не только расширить наше понимание процессов, но и получить помощь для принятия решений в финансовой области. Такого рода руководства можно создать с помощью комбинаций нескольких нейронных се-

Модель

1700-1920

1921-1955

1956-1979

Число параметров

АЯ(9)

Билинейная

модель

9056

MARS

Сеть 4-4-1

ДеГроот

Сеть 12-3-1

Вигенд

• - Ai

Сеть 12-3-1

Куам

НО ,

Таблица 2.2. Средняя квадратичная ошибка, получающаяся в результате анализа различными методами данных о пятнах на солнце

Параметры моделей настраивались по данным за первые 221 год и проверялись на двух последующих периодах (1920-1955 и 1956-1979). Эти два периода отличаются друг от друга наличием выброса.

тей, обученных на разных множествах данных и разных отрезках времени. Например, сигналы на покупку или продажу будут даваться по пороговым значениям, которые настроены с учетом предыдущих позиций и ошибок. Очень важно также распознать момент, когда эффективность модели начинает падать.

Пример: солнечные пятна

Рассмотрим пример применения сетей к анализу классического временного ряда- ряда данных о пятнах на Солнце. Регулярные ежегодные записи этого явления ведутся с 1700 года. Ряд много раз анализировался в статистической литературе, и выяснилось, что он не является ни стационарным, ни линейным, ни гауссовым. Были испробованы различные одномерные методы моделирования времен-HbLX рядов. Габр и Рао [119] применяли авторегрессионную модель 9-го порядка (с 4 ненулевыми коэффициентами) и билинейную модель. Льюис и Стивене [179] разработали модель на основе метода многомерных адаптивных регрессионных сплайнов (MARS), а Пристли [221] исследовал модель TAR. В последнее время несколько групп исследователей предприняли попытки проделать анализ ряда с помощью нейронно-сетевого подхода (см. [275], [170], [84]). Результаты, полученные различными методами, собраны в табл. 2.2.

блюдений, - в этом случае оценка надежности модели, вообще, не представляет особых сложностей.

Ясно, что информационные критерии дают информацию об адекватности модели и помогают выбрать модель подходящего уровня сложности. Другие методы диагностики позволяют, если такая задача стоит, избежать подхода к системе как к «черному ящику». Поскольку основное отличие сети от линейной регрессии - это возможность применять нелинейные преобразователи, имеет смысл посмотреть, насколько глубоко модель использует свои нелинейные возможности. Проще всего это сделать с помощью введенного Ви-гендом [275] отношения:



соответствующего 1956 году, и явной нестационарностью в следующие несколько лет. Очевидно, что авторегрессионные модели оказались слишком примитивны и не дают нужного уровня обобщения. Билинейная и MARS модели, в сравнении с моделью TAR, плохо ухватывают нестационарность во втором тестовом множестве. Нейронные сети различной архитектуры неплохо показали себя на стационарном тестовом множестве, а на другом - значительно хуже. В целом результаты подтверждают тот факт, что чудес не бывает.

СРАВНИТЕЛЬНАЯ ОЦЕНКА

ПРОИЗВОДИТЕЛЬНОСТИ НЕЙРОННЫХ СЕТЕЙ

В идеальном варианте нейронную сеть нужно обучать и применять в моделировании нелинейньгх систем с постоянной (во времени) структурой и при наличии достаточного объема представитель-ньгх данньгх. В этих случаях нейронные сети имеют преимущество перед более простыми методами: экспоненциальным, ARIMA и множественной регрессии.

К сожалению, на практике такие ситуации встречаются нечасто, и, даже если так случайно получилось, требования к надежности решения сводят на нет преимущества модели.

В этом разделе мы исследуем характеристики качества работы нейронных сетей в сравнении с другими методами на примере 18 временных рядов, соответствующих различным показателям экономики Великобритании. Тестовые данные состоят из 18 ежемесячных и 10 ежеквартальных показателей. Все они взяты из базы данных Министерства статистики, имеющейся на базовом компьютере Манчестерского университета.

Предварительная обработка

После загрузки данньгх в электронную таблицу они были исследованы на присутствие сезонных колебаний (с периодами 1 квартал и 1 год). Там, где сезонные колебания присутствовали, соответствующий показатель брался в качестве одного из входов сети. Входы были линейно масштабированы так, чтобы их значения находились между О и 1. Из данных 70 % использовалось в качестве обучающего множества, а оставшиеся 30 % - для оценки.

Обучение

В отсутствие априорной информации о структуре обучение начиналось с наиболее простой модели: с одним входным, одним скрытым и одним выходным слоем. Далее модель расширялась вплоть до 6-входовой модели с двумя скрытыми слоями, четырьмя узлами в

первом слое и двумя во втором. Во всех случаях вполне хватало одного выходного узла.

Обучение заняло 1000 эпох, причем коэффициенты, определяющие величину шага, на первом уровне полагались равными единице, деленной на число входных узлов, а на втором уровне - вдвое меньше. Использовалась логистическая функция обучения, и результат был лучше, чем для линейной функции, гиперболического тангенса и гауссовой функции.

BCJA Общее число безработных, тыс.

B¥KFПроизводство сыра, тонн

BFKAПоставки молока, тыс. гектолитров

BFKLПроизводство сухого молока, тонн*

BGAAОбъем импорта, млн. ф. ст.

BFNKПроизводство домашнего пива, тыс. гектолитров

BMIBТуристические поездки, тыс.

BMIAСуммарная дальность авиарейсов из Великобритании, тыс. км.

AIIAСовокупных доход частных лиц, млн. ф. ст.

BHCDПроизводство электроэнергии, КВТ. ч.

BIAHПоставки комбикормов фермерам, тыс. тонн

BHIAПотребление газа, тыс. куб. м.

ВНСВПоставки нефти, тонн

BMLAОбъем пассажирских морских перевозок, тыс.

BMGAОбъем железнодорожных пассажирских перевозок, тыс.

BIFF(Si)Производство формальдегида, тыс. тонн, не SA

BIFF(S2)Производство формальдегида, тыс. тонн, SA

FTAEПотребление электроэнергии промышленностью, квт.-ч.

Таблица 2.3. Перечень переменных

Результаты работы

Значения, полученные на выходе, преобразовывались обратно в исходный масштаб и анализировались на предмет среднего значения, средней квадратичной ошибки, абсолютной средней ошибки, средней относительной (процентной) ошибки, и показателей Theils н (Альбург (Ahlburg), 1984).

Прогнозы, которые выдавала сеть, сравнивались с результатами расчетов по другим моделям обработки временных рядов из пакета SPSS РС+. В их числе были различные методы авторегрессии, в том числе методы Холта-Уинтерса и Бокса-Дженкинса. В табл. 2.4 приведены результаты сравнения в терминах Theils р.



Показа-

Периодич-

Без учета

С учетом

Бокс

Нейронная

тель

ность

сезонности

сезонности Дженкинс

сеть

BCJA

2.64(DN)

1.05(DM)

1.05

1.08

1.38(DN)

0.82

0.18

BFKA

1.08(DN)

0.68

0.13

BFKL

1.86(DN)

1.35(DN)

1.11

0.53

BGAA

0.35(DM)

0.30

0.15

BFNK

1.12(DN)

0.69(DM)

1.24

0.09

BMIB

4.37(DN)

0.45(DM)

1.66

0.44

BMIA

0.56(DM)

1.74 •

0.37 "

AIIA

0.64(Holt)

0.82

1.87

BHCD

0.81(LN)

0.91

0.41

BIAH

1.30(NM)

2.74

0.24

BHIA

0.17(DN)

0.14

0.11

ВНСВ

1.08(DN)

3.39(DM)

0.96

0-98 ,(

BMLA

0.73(DN)

0.44

0.40

BMGA

0.84(DN)

0.59(DM)

0.65

0.41 и

BIFF(Si)

1.774(LN)

2.06

0.19

BIFF(S2)

0.98(LN)

-

0.94

0.17

FTAE

1.09(DN)

0.42(DM)

0.33

0.40

DM - тренд убран, мультипликативная сезонность DN - тренд убран, сезонность не учитывается

Holt - Холт-Денкинс, линейная, сезонность не учитывается

LN - линейный тренд, сезонность не учитывается

NM - мультипликативная сезонность, тренд не учитывается .

Таблица 2.4. Результаты сравнения

Результаты анализа столь представительного набора рядов различных экономических показателей оказались весьма обнадеживающими: из 10 ежеквартальных показателей в трех случаях нейронные сети продемонстрировали примерно такую же эффективность, как и модель Бокса-Дженкинса, в шести случаях- лучшую, и только в одном - для доходов частных лиц - заметно худшую.

Для семи из восьми рядов ежемесячных показателей сеть дала значительно лучшие результаты, чем модель Бокса-Дженкинса ARIMA, и в одном случае ошибки были одного порядка. Суммируя результаты по всем 18 рядам, можно сказать, что стандартная модель нейронной сети очень хорошо справилась с анализом экономических показателей, имеющих различную периодичность, характер сезонных изменений и выражение (натурное либо денежное). Резуль-

таты работы модели существенно лучше, чем у авторегрессионных моделей и модели Бокса-Дженкинса. Этот эксперимент показал, что значительнь[е затраты времени на построение и обучение нейронной сети вполне себя оправдывают.

Нейронно-сетевые модели можно совершенствовать еще и еще, но даже при относительно простом подходе получается довольно устойчивая архитектура. При обработке реальных данных, с шумом и меняющейся структурой, всегда приходится заботиться о том, чтобы не происходило переобучение, и универсальные (а не сделанные специально для данного ряда) модели дают в этом смысле определенную защиту. „

ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ

К настоящему времени разработано много программных пакетов, реализующих нейронные сети. Бот некоторые, наиболее известные программы-симуляторы нейронных сетей, представленные на рынке программного обеспечения: Nestor,, Cascade Correlation, Neudisk, Mimenice, Nu Web, Brain, Dana, Neuralworks Professional II Plus, Brain Maker, HNet, Explorer, Explorenet 3000, Neuro Solutions, Prapagator, Matlab Toolbox. Стоит также сказать о симуляторах, свободно распространяемых через университетские серверы (например, SNNS (Штутгарт) или Nevada QuickPropagation). Важным качеством пакета является его совместимость с другими программами, задействованными в обработке данных. Кроме того, важны дружественный интерфейс и производительность, которая может доходить до многих мегафлопсов (млн. операций с плавающей точкой в секунду). Платы-ускорители позволяют сократить время обучения при работе на обычных персональных компьютерах, однако для получения надежных результатов с помощью нейронных сетей, как правило, требуется мощный компьютер.

В качестве примера рассмотрим простую сеть, моделирующую описанную выше задачу Фишера про ирисы с помощью электронной таблицы Excel. Как уже говорилось, в верхнем левом углу таблицы на рис. 2.7 расположены веса.

Последовательность действий при моделировании:

• ввести в клетку 113 формулу <= Sigmoid {$Ы$ + SumProdua (C13:F13,$C4$:$F4$))>, где Sigmoid- имя определяемого вами - макроса для вычисления стандартного сигмоида, а SumProduct- ; скалярное произведение двух массивов одинаковой размерности (в данном случае- вектора весов и входного вектора Х.).

Обратите внимание на отдельное слагаемое - пороговый коэффициент $В4$,

[Старт] [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [ 11 ] [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] [24] [25] [26] [27] [28] [29] [30] [31] [32] [33] [34] [35] [36] [37] [38] [39] [40] [41] [42]