Запоминаемые образы

"Ложные" образы

Рисунок 5. Слева - состояния, запоминаемые в сети Кинцеля . Справа -"ложные" образы.

в сети из 168 нейронов, организованных в двумерную структуру, запоминаются три образа:

(ТФ ) (TФAJ и ( АК). "Ложными" образами для сети с минимальной памятью будут при этом:

пустое поле ( ); ( А ): ( К) и их негативы. Невозможно раздельное появление в образе

памяти (Т ) и ( Ф ), так как им соответствует один вектор минимального базиса.

Невозможно также появление стационарного состояния (ТФ К), так как в заучиваемых образах присутствие (ТФ ) исключает присутствие ( К) и наоборот.

Неустранимость ложной памяти. Запрещенные наборы.

Мы рассмотрели Хеббовское и Кинцелевское правила построения синаптических связей и убедились, что соответствующие сети демонстрируют нетривиальное отображение множества заучиваемых образов на множество аттракторов сети. В частности, ряд аттракторов далеки от заучиваемых образов и квалифицируются как ложная память. Возникает естественный вопрос о существовании такого метода обучения, который вообще бы устранял дополнительную память.

Оказывается, что ответ на него в общем случае отрицательный. Имеются такие наборы образов, что какую бы матрицу синаптических связей и пороги нейронов, гарантирующие их стационарность, мы не выбрали, в сети с неизбежностью возникнут иные аттракторы.

В частности, уже в сети из трех нейронов невозможно обеспечить стационарность только следующих четырех состояний: (0,0,0), (1,1,0), (1,0,1) и (0,1,1) или симметричного набора состояний. Такие наборы векторов, которые не могут составлять и исчерпывать память сети.

улучшается, если запоминаемые векторы коррелированы друг с другом. Количество стационарных состояний при этом уменьшается, что было продемонстрировано Кинцелем в ходе компьютерного моделирования. Тем не менее, полное число стационарных состояний не может быть уменьшено до набора запоминаемых векторов. Минимальная память в этой сети представляет собой все возможные комбинации векторов минимального базиса, за исключением тех из них, в которых коррелируют состояния нейронов, антикоррелирующие в запоминаемых векторах. Сеть с такой минимальной памятью может быть получена с помощью простой модификации метода уничтожения фрустрированных связей, который стартует с сети, у которой величины всех синаптических связей положительны и равны между собой, и не уничтожает, а инвертирует знак связи, фрустрированной во всех запоминаемых состояний. В примере, иллюстрируемом приводимым ниже рисунком.

Версии протитипа

Итак, структура аттракторов в модели Хопфилда может допускать различные содержательные интерпретации. В том случае, когда она совпадает со структурой запоминаемых образов мы говорим об ассоциативной памяти (пассивной). Если, напротив, в сети формируется единственный аттрактор, в каком-то смьюле являющийся прототипом этих образов, то проявляется способность сети к обобщению (generalization). В общем же случае структура аттракторов сети настолько сложна, что на первый взгляд не допускает какой-либо наглядной трактовки. Действительно, такая трактовка должна быть настолько универсальной, чтобы включать режимы запоминания и обобщения в качестве предельных случаев. Тем не менее она возможна и опирается на рассуждения, которые приводятся в данном разделе.

Начнем с рассмотрения сети Хопфилда, в память которой, согласно правилу Хебба, записан только один образ о". В этом случае синаптические связи определяются выражением

Wy = al ст], i Ф j; w„ =0; /, 7 = 1,..., iV

У такой сети есть только два зеркально симметричных стационарных состояния ± о". Если она перейдет в одно из них, то величина энергии в минимуме составит

Заметим, что все связи в сети дают в энергию одинаковый отрицательный вклад и поэтому являются не фрустрированными. Напомним, что условием фрустрации связи в состоянии сети О" является неравенство wctcTj < 0.

Именно это условие не выполняется ни для одной связи в сети с записанным единственным образом. Мы можем трактовать подобную ситуацию так, что сеть с одним записанным в нее образом точно воспроизводит его в виде своего аттрактора (с точностью до зеркального отражения), и если мы выберем в этой сети случайную связь, то вероятность ее фрустрации будет равна нулю.

Таким образом, сеть Хопфилда идеально приспособлена для хранения единственного образа.

Всего существует 402 типа булевых функций четырех переменных, к которым сводится все множество из 65536 функций.

называют запрещенными. Можно показать, что для сети из трех нейронов два приведенных выше множества векторов исчерпывают все запрещенные наборы образов.

В сети из четырех нейронов не реализуемы уже 40 наборов векторов, но все они могут быть получены всего из двух независимых наборов преобразованием однотипности -перестановками переменных и инверсией." Такая тенденция является обнадеживающей с точки зрения возможностей сетей к запоминанию образов, поскольку доля не реализуемых функций падает. Однако сети, аттракторы которых сконструированы заранее, могут имитировать только ассоциативную память, не создающую новой информации. Нас же сейчас интересует как раз эффект обобщения, присущий рекуррентным сетям, также как и обычным персептронам.

Рассмотрим теперь следующую систему (см. Рисунок 6). Пусть в Хопфилдовской сети-передатчике (слева) записан единственный образ о"™, который нам неизвестен. Этот образ многократно передается в Хопфилдовскую сеть-приемник (справа) в виде сообщения через канал с шумом. При его прохождении образ а"" искажается так, что некоторые компоненты кодирующего его вектора меняют свой знак на противоположный.

канал с шумом

сеть-передатчик

п гии-I

-г-ц- ruuuuui n nnj-I

сеть-приемник

n n ruui

сообщение-ггаототип,аттрактор

искаженные сообщенняня

qв состоянии, соответствующем q

о о/ аттрактору, эта связьо о

фрустрирована

о о-

о -о

записан единственный образ

ОооО

Рисунок 6. Вверху: интерпретация стационарных состояний в сети Хопфилда как локально наиболее правдоподобных версий сообщения, многократно переданного сетью-передатчиком в сеть-приемник через канал с шумом. Внизу: сети с записанным единственным сообщением прототипом (слева) и со всеми искаженными версиями этого сообщения (справа).

Задача сети-премника состоит в том, чтобы имея Р полученных сообщений а", п = \,...,Р восстановить исходное сообщение о"™. Исходя из полученных сообщений, оценим вероятность того, что в исходном сообщении компоненты сг™ и crj™ имеют одинаковое или противоположные значения. Для этого нужно просто подсчитать, в скольких из Р сообщений произведения (т"(т" положительны или отрицательны и отнести это число к полному числу сообщений. Формально эти вероятности можно записать как

Вспоминая выражение для правила Хебба, убеждаемся что если сообщения ст", п = 1,...,Р , полученные сетью-приемником, сформируют свои связи в соответствие с ним, то тогда

Используя последнее соотношение, преобразуем выражение для энергии состояния ст в сети-приемнике к виду