XX Введение

зью, способно сигнализировать о начинающемся росте доходности. В конце книги приведен довольно большой, но далеко не исчерпывающий, список литературы.

В заключение мы хотели бы поблагодарить тех, кто принимал активное участие в осуществлении этого проекта. В первую очередь,

это Эрве Водрей (факультет финансов Университета Эразма),

внесший значительный вклад в содержание глав 1, 2 и 10. Его знания и опыт оказали неоценимую помощь в нашей работе. Бхаскар Дас-гупта (Манчестерская Школа бизнеса) разработал описанную в гл. 7 нейронную сеть для предсказания национальных фондовых индексов. Кроме этого, финансовые факультеты Университета Эразма и Манчестерской Школы бизнеса предоставили нам все возможности для проведения исследований. Содержательные методы должны опираться на достоверные данные, и в этой связи мы хотели бы поблагодарить руководство Европейской биржи опционов в Амстердаме и Монику Дондерс за возможность доступа к базе биржевых данных по опционам. Мы благодарны Министерству финансов Голландии и, в особенности, Хану ван дер Кнопу и Франсу Хоймансу за данные о налоговых поступлениях и Хансу Рийнбергу из Нидерландского Инвестиционного банка (NIB) за сведения о качественных показателях оценки финансовой состоятельности инвесторов. Мы получили доступ к известной базе данных Чена, Ролла и Росса исключительно благодаря Вернеру де Бондту (Университет Висконсина).

Роттердам/Манчестер, январь 1994 г.

Нейронно-сетевые методы

в этой главе рассматриваются основные структуры и назначение нейронно-сетевых моделей. Описаны принципы разработки, обучения и оценки эффективности. Показано, каким образом множество задач, сильно различающихся параметрами сложности и устойчивости, может быть охвачено единой сетевой концепцией.

ВВЕДЕНИЕ В МЕТОДЫ НЕЙРОННЫХ СЕТЕЙ

Нейронные сети представляют собой новую и весьма перспективную вычислительную технологию, дающую новые подходы к исследованию динамических задач в финансовой области. Первоначально нейронные сети открыли новые возможности в области распознавания образов, затем к этому прибавились статистические и основанные на методах искусственного интеллекта средства поддержки принятия решений и решения задач в сфере финансов.

Способность к моделированию нелинейных процессов, работе с зашумленными данными и адаптивность дают возможность применять нейронные сети для решения широкого класса финансовых задач. В последние несколько лет на основе нейронных сетей было разработано много программных систем для применения в таких вопросах, как операции на товарном рынке, оценка вероятности банкротства банка, оценка кредитоспособности, контроль за инвестициями, размещение займов.

Приложения нейронных сетей охватывают самые разные области интересов: распознавание образов, обработка зашумленных данных, дополнение образов, ассоциативный поиск, классификация, составление расписаний, оптимизация, прогноз, диагностика, обработка сигналов, абстрагирование, управление процессами, сегментация данных, сжатие информации, сложные отображения, моделирование сложных процессов, машинное зрение, распознавание речи.

Смысл использования нейронных сетей в финансовой области заключается вовсе не в том, чтобы вытеснить традиционные методы или изобретать велосипед. Это просто еще одно возможное средство для решения задач, и цель этой книги- показать на целом ряде примеров, как можно применять нейронный подход и сравнивать его эффективность с эффективностью других методов. На основании этих примеров можно будет сделать общий вывод о том, что

нейронные сети довольно хорошо умеют отражать свойства разрывности, наблюдаемые в нашем мире. Неудивительно, что на исследования в этой области выделяются значительные средства: на 5-летнюю программу в США было выделено $300,000,000, в Японии на 10-летнюю программу - $400,000,000, финансирование в странах Европы составляет порядка $100,000,000.

В этой главе, не углубляясь в детали теории, мы познакомим читателя-практика с основами сетевых вычислений. Более подробное изложение этих вопросов можно найти в многочисленной технической литературе. Наша цель сейчас - дать описание, что представляет собой нейронная сеть: ее составляющие, структура, конструктивные элементы, как понять логику ее работы, как описать ее возможное поведение. В следующей главе мы рассмотрим эти вопросы более конкретно для двух основных областей применения нейронных сетей - классификации и прогноза.

Параллели С биологией; i - м? к i-

Идея разработки систем обработки интеллектуальной информации по образу устройства нервной системы возникла давно. В 1943 г. МакКаллох и Пите создали упрощенную модель нервной клетки - нейрон. Мозг человека содержит до нейронов различных видов, при этом все они сложным образом связаны между собой и собраны в популяции - нейронные сети.

С биологической точки зрения, клетка состоит из ядра, отростков (дендритов), через которые информация поступает в клетку, и аксона, передающего выходной сигнал в другие клетки посредством тысяч разветвлений- синапсов. Простейший нейрон может иметь до 10 дендритов, принимающих электрохимические сигналы от других клеток. Определенные сложные комбинации этих входных сигналов, с учетом уровня чувствительности, вызывают возбуждение нейрона. После этого клетка через аксон передает сигнал другим клеткам, также иь1еющим свою систему связей. При поступлении сигнала изменяется вероятность возбуждения следующего нейрона. Если она увеличивается, то такая синаптическая связь называется возбуждающей, если уменьшается - тормозящей.

Внутри биологической клетки сигнал распространяется гораздо медленнее, чем в электронных схемах. Однако, вся сеть целиком оказывается высокоэффективной в решении таких сложных задач, как, например, распознавание образов (зрение, речь). Можно предположить, что причина таких потрясающих способностей мозга кроется в высокой организации связей и параллелизме в функционировании сети (см. [24]).

Характер разработок в области нейронных сетей принципиально отличается от экспертных систем: последние построены на утверждениях типа «если..., то...», которые нарабатываются в результате длительного процесса обучения системы, а прогресс достигается, главным образом, за счет более удачного использования формально-логических структур. В основе нейронных сетей лежит преимущественно поведенческий подход к решаемой задаче: сеть «учится на примерах» и подстраивает свои параметры при помощи так называемых алгоритмов обучения через механизм обратной связи.

УСТРОЙСТВО НЕЙРОННЫХ СЕТЕЙ

Различные виды искусственных нейронов

Искусственным нейроном называется простой элемент, сначала вычисляющий взвешенную сумму V входных величин х,-:

Здесь N- размерность пространства входных сигналов.

Затем полученная сумма сравнивается с пороговой величиной (или bias) Wq , вслед за чем вступает в действие нелинейная функция активации / (ее можно также охарактеризовать как «решающую функцию»). Коэффициенты [W-] во взвешенной сумме (1) обычно называют синаптическими коэффициентами или весами. Саму же взвешенную сумму V мы будем называть потенциалом нейрона i. Выходной сигнал тогда имеет вид f{V).

Величину порогового барьера можно рассматривать как еще один весовой коэффициент при постоянном входном сигнале. В этом случае мы говорим о расширенном входном пространстве-, нейрон с N-мерным входом имеет N + 1 весовой коэффициент. Если ввести в уравнение пороговую величину Wq, оно перепишется так: ,„

V = JW,x.+W,=

В зависимости от способа преобразования сигнала и характера функции активации возникают различные виды нейронных структур. Мы будем рассматривать только детерминированные нейроны (в противоположность вероятностным нейронам, состояние которых в момент t есть случайная функция потенциала и состояния в момент t~l). Далее, мы будем различать статические нейроны- такие, в которых сигнал передается без задержки,- и динамические, где

учитывается возможность таких задержек ущгшмегсц («ситпш с

запаздыванием»). ; №:]

• i 1X,2

Рис. 1.1. Статический искусственный нейрон ,

Различные виды функции активации

Функции активации/могут быть различных видов:

•линейная: выходной сигнал нейрона1 равен его потенциалу,

*• ступенчатая: нейрон принимает решение, выбирая один из двух вариантов (активен/неактивен),

линейная с насыщением: нейрон выдает значения, промежуточ-ные между двумя предельными значениями Л и В,

•,1 многопороговая: выходной сигнал может принимать ОДНО из q v значений, определяемых (q-l) порогом внутри предашиДЯС значений Л и В,

ft сигмоидная. рассматриваются два вида сигмоидных фушсций:

s = f{V) =

; J.,l + exp{-bV)

с выходными значениями в промежутке (0,1) и » i

, .(m-exp(bV)-l

с выходными значениями от - 1 до 1.

Коэффициент b определяет крутизну сигмоида. Поскольку сиг-моидная функция является гладким отображением (-оо,+оо) -> (0,1), крутизну b можно учесть через величины весов и порогов, и без ограничения общности можно полагать ее равной единице.

Возможно также определить нейроны без насыщения, принимающие на выходе непрерывное множество значений. В задачах классификации выходное значение может определяться порогом -

при принятии единственного решения,- или быть вероятностным - при определении принадлежности к классу. Чтобы учесть особенности конкретной задачи, могут быть выбраны различные другие виды функции активации - гауссова, синусоидальная, всплески (wavelets) и т.д.

-10 -8 -6 -4 -2 0 2 4 6 Потенциал V

Рис. 1.2. Стандартная сигмоидная функция (крутизна = 1)

8 10

Нейронные сети с прямой связью

Искусственная нейронная сеть построена из нейронов, связанных друг с другом. Даже если работа нейронной сети имитируется на компьютере, лучше представлять ее себе не как программу, а как электронную схему. Мы будем рассматривать два вида нейронных сетей: статические, которые также часто называют сетями с прямой связью (feed-forward), и динамические, или рекуррентные сети. В этом разделе мы займемся статическими сетями. Сети других видов будут кратко рассмотрены позднее.

Нейронные сети с прямой связью состоят из статических нейронов, так что сигнал на выходе сети появляется в тот же момент, когда подаются сигналы на вход. Организация {топология) сети может быть различной. Если не все составляющие ее нейроны являются выходными, говорят, что сеть содержит скрытые нейроны. Наиболее общий тип архитектуры сети получается в случае, когда все нейроны связаны друг с другом (но без обратных связей). В конкретных задачах нейроны обычно бывают сгруппированы в слои. На рис. 1.3 показана типовая схема нейронной сети с прямой связью с одним скрытым слоем.

Интересно отметить, что, согласно теоретическим результатам [79], [ 118], нейронные сети с прямой связью и с сигмоидными функциями являются универсальным средством для приближения (аппроксимации) функций. Говоря точнее, любую вещественнозначную функцию нескольких переменных на компактной области определе-