Активная память

Вьщеление ситала из шума

Разобучение действительно улучшает запоминание случайных образов. Однако, например, для коррелированных образов доводы, приведенные в предыдущем разделе теряют свое значение. Действительно, если эти образы, например, являются слегка зашумленными вариантами одного

образа-прототипа сг™ . Нетрудно показать, что в этом случае единственной зеркальной парой

аттракторов в сети с Хеббовскими связями окажется пара ± о"™. Это означает, что вся память, которой обладает сеть, оказывается ложной. Отсюда следует, в частности, что состояниям ложной памяти далеко не всегда соответствуют неглубокие энергетические минимумы.

Этот пример показывает, что ложная память иногда не бесполезна, а преобразуя заучиваемые векторы, дает нам некоторую важную информацию о них. В данном случае сеть как бы очищает ее от случайного шума. Подобное явление характерно и для обработки информации человеком, в известном психологическом опыте людям предлагается запомнить изображения, каждое из которых представляет собой обязательно искаженный равносторонний треугольник. При контрольной проверке на значительно более широком наборе образов, содержащийся в них идеальный равносторонний треугольник опознается испытуемыми как ранее виденный. Такое явление называется выработкой прототипа. Именно эта аналогия использовалась нами при

введении обозначения о"™.

Минимальный базис

Состояния ложной памяти могут иметь и другие, не менее интересные формы. Рассмотрим, например, вариант модели Хопфилда, в котором состояния нейронов принимают значения О или 1. Подобная модель легко переформулируется в оригинальную, для которой состояниями являются спиновые переменные ± 1, путем переопределения порогов. Мы, однако, будем считать, что в нашей сети пороги всех нейронов отрицательны и бесконечно малы. Иначе говоря, динамика состояния нейрона определяется соотношениями

1, T.,Vj>0

О, Xjj<

Идея разобучения затем была развита другими исследователями. В одном из ее вариантов в качестве начальных состояний сети предъявляются не случайные стимулы, а зашумленные случайным шумом запоминаемые образы. При этом, помимо разобучения сети финальным

аттрактором, она слегка подучивается запоминаемым образом ст"

Swy = -S {ст*ст] - а"0-; ) , / .

То есть, если образ памяти восстанавливается без ошибки, синаптические связи не модифицируются. Подобная модификация процедуры разобучения может существенно увеличить емкость памяти (с Р = 0.14Л до Р = N).

Рассмотрим следующий набор векторов:

=(0, 0,1,1,1, 0,1), =(0,1, 0,1, О, 0,1), =(1, О, 0,1, 0,1,1), который используем для построения Хеббовской матрицы связей

сети Хопфилда. Если найти все аттракторы этой сети (что нетрудно сделать в виду небольшой размерности пространства его состояний 2=128 ), то обнаружится, что помимо векторов v , , стационарными являются состояния, описываемые векторами

Ь= (1, О, О, О, 0,1, 0), b = ( 0,1, О, О, О, О, 0), b = (О, 0,1, 0,1, О, 0), Ь = ( О, О, 0,1, О, 0,1).

Векторы Ь сами по себе замечательны. Их единичные компоненты помечают кооперированные нейроны, то есть те из них, которые одновременно активны или

одновременно пассивны во всех запоминаемых векторах v". Если считать, что компоненты

векторов v" кодируют некоторые признаки, то кооперированность некоторых нейронов означает, что некоторые признаки избыточны и могут быть заменены одним. Например, если в нашем примере первый нейрон кодирует такое свойство, как пол, а шестой - наличие бороды, то практически со стопроцентной вероятностью они могут быть заменены одним нейроном, о чем

сигнализирует вектор .

Векторы b , кроме того, образуют так называемый минимальный базис. А именно, это минимальное число векторов, с помощью линейной комбинации которых могут быть представлены все запоминаемые векторы

v"=E«„y, n = l,...,P.

Кроме того, все стационарные состояния сети, в Хеббовские связи которых записаны векторы

\" , также обязательно должны разлагаться по векторам минимального базиса. Это означает,

что если некоторые нейроны кооперированы в векторах v" , то они должны кооперироваться и во всех аттракторах сети.

Используя векторы минимального базиса можно получить новый вид недиагональных элементов Хеббовской матрицы связей

L L

k=l т=\

(«) = Е(2«„,-1)(2«„„,-1), кФт; w,,(«) = 0.

с помощью этого представления можно получить необходимые условия стационарности состояний сети. В частности, условие того, что сеть будет генерировать в качестве аттракторов векторы минимального базиса, легко формулируется в терминах матричных элементов

Именно, /-му вектору базиса b будет соответствовать стационарное состояние

тогда и только тогда, когда все недиагональные элементы / - й строки матрицы («) будут

строго отрицательными.

Для рассмотренного нами выше примера эта матрица имеет вид

w(«) =

О-1-1-1

-1О-1-1

-1-1О-1

-1-1-1о

из которого с очевидностью следует стационарность всех векторов минимального базиса.

Метод Кинцеля. Уничтожение фрустрированных связей.

"Ложная память" имеет интересный нетривиальный смьюл и в случае использования других правил обучения, минимизирующих энергию нейронных сетей.

Одно из них было предложено в 1985 году Кинцелем, который основывал свои рассуждения на реальном наблюдении, согласно которому у ребенка в первые несколько лет жизни отмирает большое число синапсов, хотя именно в это время он учится и усваивает огромное количество информации (Kinzel, 1985). Подобное явление подсказало Кинцелю следующий метод обучения. Возьмем полностью неорганизованную сеть нейронов сг, g {±1}, / = 1,...,Л с нулевыми

порогами и связями, величины которых имеют Гауссово распределение с нулевым средним, и ликвидируем в ней все фрустрированные в векторах памяти соединения. То есть для всех

запоминаемых векторов ст", п = 1,...,Р обнуляются все связи, для которых м>цСт"ст" < 0. В

результате получается сеть, в которой все состояния кодируемые векторами ст", очевидно, будут стационарными.

Требование нефрустрированности каждой связи для всех запоминаемых векторов, конечно, очень сильное. Для слабо коррелированных образов приходится уничтожать так много межнейронных соединений, что в полученной слабосвязанной сети почти все состояния оказываются стабильными, т.е. появляется большое число "ложных" образов. (Если нейроны вообще не связаны - Vw = О, то все возможные состояния сети стационарны). Положение