Рисунок 2. Двухслойная сеть после прореживания связей и входных нейронов. Положительные связи выделены.

Связь между активностями входных бинарных нейронов и нейронов скрытого слоя для данной сети определяется следующими правилами:

Для первого нейрона скрытого слоя:

Для второго нейрона скрытого слоя:

h =hi =h5 =0i7 =lh,=-l

/2 = 1 /Zj = 1

Для третьего нейрона скрытого слоя:

h =hi = О =0 г-з=0/гз=-1

/4 = = 1, i,, = 0h,= 0.24

/5 = О, /i3 = =lh= 0.24

Комбинируя эти связи с правилами, связывающими активности нейронов скрытого слоя с активностями выходных нейронов, получим окончательные классифицирующие правила.

h = hi = hi = О Oi = 1, 02 = О Ь = hi = 0. 5 = 15 = 1 01 = 1, 02 = О h - hi - hs = 1 Oj = 1, О2 =0

♦ ♦ ♦ ♦ f

h lis hi

lis ll7

Рисунок 3. Третий нейрон скрытого слоя (hj) связан с максимальным

числом входов. Число дискретных значений его активности равно 3. Для облегчения процедуры выделения классифицирующих правил этот нейрон может быть заменен вспомогательной сетью с тремя выходными нейронами, кодирующими дискретные значения активности.

Обучающие примеры для вспомогательной сети группируются согласно их дискретизованным значениям активации "проблемного" нейрона. Для d дискретных значений Д, Д ,...,Z) всем

обучающим примерам, соответствующим уровню активации Dj, ставится в соответствие d -

мерный целевой вектор, состоящий из нулей и одной единицы в j -й позиции. Вспомогательная

сеть содержит свой слой скрытых нейронов. Она обучается и прореживается тем же способом, что и основная нейронная сеть. Метод извлечения правил применяется к каждой вспомогательной сети, для того чтобы связать значения входов с дискретными значениями активации проблемных нейронов скрытого слоя оригинальной сети. Подобный процесс осуществляется рекурсивно для всех скрытых нейронов с большим числом входов до тех пор пока это число не станет достаточно малым или же новая вспомогательная сеть уже не сможет быть далее упрощена.

i = i3 = i5 = О hi = 1 Oi = 1, 02 = О h = hi = О h = hi = 1 Oi = 1,02 = 0

Приведенные выше правила определяют принадлежность объекта первому классу (А). Некоторые из них могут оказаться нереализуемыми, если учесть, что состояния бинарных нейронов кодируют соответствующие непрерывные величины с помощью принципа термометра.

Количество правил, полученных в данном случае, невелико. Однако, иногда даже после процедуры прореживания некоторые нейроны скрытого слоя могут иметь слишком много связей с входными нейронами. В этом случае извлечение правил становится нетривиальным, а если оно и осуществлено, то полученные правила не так просто понять. Для выхода из этой ситуации для каждого из "проблемных" нейронов скрытого слоя можно использовать вспомогательные двухслойные нейронные сети. Во вспомогательной сети количество выходных нейронов равно числу дискретных значений соответствующего "проблемного" нейрона скрытого слоя, а входными нейронами являются те, которые в исходной прореженной сети связаны с данным нейроном скрытого слоя.

Исправление данных

Итак, перед извлечением правил из нейронной сети производится ее обучение и прореживание. Упомянем еще об одной процедуре, которая иногда осуществляется при извлечении знаний из нейронных сетей - исправление (очищении). Подобная операция была предложена Вайгендом и коллегами и по сути используется параллельно с обучением (Weigend, Zimmermann, & Neuneier 1996). Гибридное использование обучения и исправления данных носит название CLEARNING (CLEARING+LEARNING). Данная процедура включает восходящий процесс обучения, при котором данные изменяют связи в нейронной сети и нисходящий процесс, в котором нейронная сеть изменяет данные, на которых производится обучение. Ее достоинствами являются выявление и удаление информационных записей, выпадающих из общей структуры обучающей выборки, а также замена искаженных данных и данных с лакунами на исправленные величины. При использовании данной процедуры происходит торг между доверием к данным и доверием к нейросетевой модели, обучаемой на этих данных. Эта конкуренция составляет существо так называемой дилеммы наблюдателя и наблюдений.

Способность работать с неточными данными является одним из главных достоинств нейронных сетей. Но она же парадоксальным образом является и их недостатком. Действительно, если данные не точны, то сеть в силу своей гибкости и адаптируемости будет подстраиваться к ним, ухудшая свои свойства обобщения. Эта ситуация особенно важна при работе с финансовыми данными. В последнем случае существует множество источников погрешности. Это и ошибки при вводе числовых значений или неправильная оценка времени действия ценных бумаг (например, они уже не продаются). Кроме того, если даже данные и введены правильно, они могут быть слабыми индикаторами основополагающих экономических процессов, таких как промышленное производство или занятость. Наконец, возможно, что многие важные параметры не учитываются при обучении сети, что эффективно может рассматриваться как введение дополнительного шума. Данные, далеко выпадающие из общей тенденции, забирают ресурсы нейронной сети. Некоторые из нейронов скрытого слоя могут настраиваться на них. При этом ресурсов для описания регулярных слабо зашумленных областей может и не хватить. 1\/1ножество попыток применения нейронных сетей к решению финансовых задач выявило важное обстоятельство: контроль гибкости нейросетевой модели является центральной проблемой. Изложим кратко существо процедуры обучения сети, объединенной с исправлением данных. Для простоты рассмотрим сеть с одним входом и одним выходом. В этом случае минимизируемой величиной является сумма двух слагаемых (Weigend & Zimmermann, 1996):

Первый член описывает обычно минимизируемое в методе обратного распространения ошибки

квадратичное отклонение выхода нейронной сети > = >(x,w)ot желаемого значения у.

Второе слагаемое представляет собой квадратичное отклонение исправленного входного

значения х от реального его значения х. Соответственно, для весов сети w и для исправленных входных значений х получаются два правила их модификации. Для весов оно такое же, как и в стандартном методе обратного распространения ошибки, а для исправленного входа имеет вид