3450

О 10 20 30 40 50

о х=о

Рисунок 1. Пример кодировки непрерывной величины с помощью бинарных нейронов и принципа термометра. Интервал (О, 50) разбит на 5 равных частей. Значение 34.0 попадает в 4-й интервал. При этом состояния первых 4 из 5 кодирующих бинарных нейронов равно единице, а 5-го - нулю.

При наличии многих непрерывных входов число заменяющих их бинарных нейронов может стать весьма большим. Однако, прореживание связей приводит к получению относительно компактной сети. Но и для нее выделение классификационных правил представляет проблему. Если нейрон имеет d входов, то число различных бинарных векторов, которые он может

обработать составляет 2, а это большая величина даже при малом d. Далее, состояния нейрона скрытого слоя являются непрерывными, что также является препятствием для извлечения правил. Для его устранения все значения, которые принимают нейроны скрытого слоя кластеризуются и заменяются значениями, определяющими центры кластеров. Число таких кластеров выбирается небольшим. После такой дискретизации активностей промежуточных нейронов производится проверка точности классификации объектов сетью. Если она остается приемлемой, то подготовка к извлечению правил заканчивается. Приведем формальное описание алгоритма дискретизации значений активности нейронов скрытого слоя

Алгоритм дискретизации

1. Выбирается значение параметра s е(0,1), управляющего числом кластеров активности нейрона скрытого слоя. Пусть - активность этого нейрона при предъявлении сети первого вектора обучающего набора. Положим число кластеров Ni = 1, положение кластера Аш (1) = . count(1)=1, sum(1)= \.

2. Для всех векторов обучающего набора к = \,...,К

•определяется активность нейрона скрытого слоя h

•если существует индекс J такой что -eta(J)l=I~cta0)l

\h-A,,{j)\<s, то иначе iV,,,,, = iV,,,,, +1,

count(j): = count(j) +1, sum(Ni,):= sum(Ni,) + h Aius, (cta) = h, count(N,,) = 1, sum(N,,) = h.

В этой работе решалась задача разбиения объектов на два класса. На ее примере мы и рассмотрим последовательность извлечения правил. После дискретизации значений активности нейронов скрытого слоя, передача их воздействий выходным классифицирующим нейронам описывалась параметрами, приведенными в Таблице 2.

Таблица 2. Связь дискретных значений активности нейронов скрытого (hj) и выходного (О;) слоев.

3.Заменить Ai, на среднее значение активаций нейрона, объединенных в один и тот же кластер: А,, (7): = sum{j) i count{j), 7 = 1,..., iV,,,,,.

4.Проверить точность классификации объектов сетью при замене истинных значений активации нейрона скрытого слоя на А, (j).

5.Если точность классификации оказалась ниже заданного значения, то уменьшить значение £ и вернуться к шагу 1.

Рассмотрим приведенный в (Lu, Setiono and Liu, 1995) пример, в котором прореженная сеть содержала три нейрона скрытого слоя, дискретизация активности которых была проведена при значении параметра £ =0.6. Ее результаты отражены в Таблице 1.

Таблица 1. Дискретизация состояний нейронов скрытого слоя

Исходя из значений, приведенных в этой таблице, после замены значений выходных нейронов ближайшими к ним нулями или единицами, легко получить следующие правила, связывающие активности нейронов скрытого слоя с активностями классифицирующих нейронов

•правило 1если /Zj = О, /з = -1,то Oj = 1, О2 = О(объект класса А)

•правило 2если /Zj = -1, /Zj = 1,= -1, то Oj = 1, Oj = О(объект класса А)

•правило 3если /Zj = -1, /Zj = О,= 0.24 , то Oj = 1, О2 = О(объект класса А)

•правило 4в остальных случаяхOj = О, Oj = 1(объект класса В)

Эти правила являются вспомогательными, поскольку нам необходимо связать значения состояний классифицирующих выходных нейронов со входами нейронной сети. Структура данной сети после прореживания связей и нейронов изображена на следующем рисунке.