назад Оглавление вперед


[Старт] [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] [24] [25] [26] [27] [ 28 ] [29] [30] [31] [32] [33] [34] [35] [36] [37] [38] [39] [40] [41] [42] [43] [44] [45] [46] [47] [48] [49] [50] [51] [52] [53] [54] [55] [56] [57] [58] [59] [60] [61] [62] [63] [64] [65] [66] [67] [68] [69] [70] [71]


28

фрустрированная связь + ферромагнитная связь ш антиферромагнитная связь

Рисунок 2. Фрустрированная система трех взаимодействующих спинов. При любых их ориентациях всегда находится такая связь , знак которой противоречит взаимной ориентации пары, что приводит к нежелательному положительному вкладу в полную энергию системы.

Подобно спиновым стеклам, такие сети будут иметь множество стационарных конфигураций активностей нейронов, являющихся аттракторами (от англ. attract - притягивать), т.е. такими состояниями, к которым сходится динамика нейросети. Именно введенная Хопфилдом динамика изменений состояний нейронов наряду с симметричностью связей между нейронами определили новизну описываемой модели.

Сеть Хопфилда как ассоциативная память

Симметричность связей

в Хопфилдовской сети матрица связей между нейронами w является полной и симметричной {Wy=Wjj) а самовоздействие нейронов считается отсутствующим (w„=0). Подобные

свойства определяют тесную связь модели со спиновыми стеклами. Критики отмечают, что подобная ориентация на физические системы делает модель несостоятельной с физиологической точки зрения (хотя в мозге существуют некоторые структурные единицы -колонки, связи между нейронами в которых не так уж далеки от симметричных). Однако, самое

Фрустрированность системы обусловливает огромное вырождение ее основного состояния. Спиновое стекло может "замерзнуть" в любом из возможных основных состояний системы, отличающемся от множества других аналогичных состояний с практически такой же энергией лишь конфигурацией системы магнитных моментов. Хопфилд предположил, что аналогичное явление может лежать в основе существования огромного числа состояний памяти, характерного для мозга. Действительно, можно рассмотреть модель полносвязной нейронной сети с рекуррентными симметричными связями между нейронами. В такой модели возбуждающим связям будут соответствовать ферромагнитные связи в спиновом стекле, а тормозным - антиферромагнитные связи.



Рисунок 3. Архитектура сети Хопфилда. Связи с одинаковым весом обозначены одинаковыми линиями. Матрица соединений полносвязанная и симметричная. Самовоздействие нейронов отсутствует.

Асинхронная динамика

Нейроны в модели Хопфилда, подобно спиновым переменным, могут принимать два состояния g{-1,+1}, а динамика состояний сети носит асинхронный характер (т.н. Глауберова

динамика). В дискретные моменты времени t=1,2,... случайным образом выбирается один нейрон {к-ый) для которого вычисляется значение потенциала

При выполнении условия hs < О состояние нейрона изменяется на противоположное:

В другом варианте - последовательной динамике - перебор нейронов производится не случайным образом а циклически, но в каждый момент времени также может изменяться состояние лишь одного нейрона. Эти два варианта качественно отличаются от параллельной динамики, подразумевающей одновременное изменение состояний всех тех нейронов, для которых выполняется условие h,s- < О (такова, например, динамика модели Литтла).

Синхронизация моментов обновления состояний нейронов делает такую динамику подверженной "зацикливаниям".

В отличие от многослойных сетей, в которых входные и выходные нейроны пространственно разделены в модели Хопфилда все нейроны одновременно являются и входными, и скрытыми, и выходными. Роль входа в таких сетях выполняет начальная конфигурация активностей нейронов, а роль выхода - конечная стационарная конфигурация их активностей.

Метрика пространства состоянний

Расстояние между состояниями сети можно измерять в т.н. метрике Хэмминга. Если два вектораи бинарные, то Хэммингово расстояние между ними определяется как

количество различающихся компонент. Так, если векторы имеют вид Ь=(1,0,0,0,1) и

главное в таком подходе то, что простота архитектуры сети облегчает имитацию с ее помощью богатого спектра явлений, которые могут быть соотнесены с реальными свойствами мозга.



21 2II

b =(1,1,0,0,0), то Хэммингово расстояние между ними b -Ь будет равно двум, поскольку в

точности две компоненты этих векторов (вторая и пятая) имеют различные значения. Формально, Хэммингово расстояние для таких (Булевых) векторов может быть определено как

b-b\\ = j:(bj-bfr

в случае спиновых переменных, s = 2Ь -I, принимающих значения ±1, расстояние Хэмминга может быть переписано в виде

у

где ss - скалярное произведение, или перекрытие между векторами и . Таким образом, минимальное Хэммингово расстяние между векторами со спиновыми переменными соответствует максимальному перекрытию между ними.

Энергия состояния

Нетрудно показать, что описанная выше асинхронная динамика сети сопровождается уменьшением энергии сети, которая определяется следующим образом:

Действительно, при изменении состояния одного к -го нейрона его вклад в энергию изменяется с Е, (О = (оЕ kjSj (О = -h {t)K (О наЕ, {t + \) = {t + \)К (О .

Следовательно,

Е, (t + \) = -sgn\h, (t)-\\ (О = -W (01 < - {t)\ (О = Е, (О .

в случае, когда нейрон имеют ненулевые пороги активации , энергия состояния приобретает вид Е = -\1 WjS Sj + Е &jSj, но вышеприведенный вывод остается в силе.)

Поскольку число нейронов в сети конечно, функционал энергии ограничен снизу. Это означает, что эволюция состояния сети должна закончиться в стационарном состоянии, которому будет соответствовать локальный минимум энергии. В Хопфилдовской модели стационарные конфигурации активностей нейронов являются единственным типом аттракторов в пространстве состояний сети. Мы можем представить динамику сети, сопоставив ее состояние с шариком, движущимся с большим трением в сложном рельефе со множеством локальных

[Старт] [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] [24] [25] [26] [27] [ 28 ] [29] [30] [31] [32] [33] [34] [35] [36] [37] [38] [39] [40] [41] [42] [43] [44] [45] [46] [47] [48] [49] [50] [51] [52] [53] [54] [55] [56] [57] [58] [59] [60] [61] [62] [63] [64] [65] [66] [67] [68] [69] [70] [71]