минимумов. Сами эти минимумы будут устойчивыми состояниями памяти, а окружающие точки на склонах - переходными состояниями.
НАЧАЛЬНОЕ СОСТОЯНИЕ
(НЕПОЛНАЯ ИНФОРМАЦИЯ)
ЭНЕРГЕТИЧЕСКИЙ РЕЛЬЕФ
СОСТОЯНИЕ ПАМЯТИ
(ПОЛНАЯ ИНФОРМАЦИЯ)
Рисунок 4. Поведение состояния в сети Хопфилда аналогично движению шарика, скатывающегося со склона в ближайшую лунку. Начальное состояние шарика соответствует вектору, содержащему неполную информацию об образе памяти, которому отвечает дно лунки.
Такая динамика определяет главное свойство сети Хопфилда - способность восстанавливать возмущенное состояние равновесия - "вспоминать" искаженные или потерянные биты информации. Восстановление полной информации по какой-либо ее части - вспоминание по ассоциации - наделяет модель Хопфилда свойством ассоциативной памяти. (Далее в этой главе мы продемонстрируем, и более общие возможности сети Хопфилда.)
Ассоциативная память
Аттракторами сети Хопфилда являются стационарные состояния. Если начальная конфигурация s мало отличается от одного из таких аттракторов сети s* (т.е. s - s* « Л), то она быстро эволюционирует к этому ближайшему аттрактору, изменив состояния небольшого числа нейронов. Такой переход можно записать в виде s-> s*. Можно проинтерпретировать это явление так, что состояние s содержит частичную, неполную информацию, которая, однако,
достаточна для восстановление полной информации, кодируемой состоянием s*. Например, мы способны восстановить название города по неполному набору букв В*нец*я. Такая память, в которой информация ищется не по формальному адресу (подобно поиску книги в библиотеке по ее шифру), а на основе частичной информации о ее содержании, называется адресованной по содержанию. Таким образом модель Хопфилда может использоваться для имитации содержательно-адресованной или, иными словами, ассоциативной памяти.
При появлении модели Хопфилда многие нейрофизиологи были смущены подобным примением понятия энергии к моделям нейронных сетей. Поэтому, иногда можно встретить более нейтральный термин - функция Ляпунова. В математике так называют функцию состояния динамической системы, которая меняется монотоно (не убывает или, напротив, не возрастает) в процессе эволюции системы
Обучение сети. Правило Хебба
Описанная сеть действительно стала использоваться для моделирования ассоциативной памяти, поскольку уже в первой своей работе Хопфилд указал конструктивный метод построения синаптических связей между нейронами, который в некоторых случаях позволял запомнить любые заранее заданные состояния сети.
Например, полезной была бы сеть, аттракторы которой, соответствовали бы векторам, кодирующим бинарные изображения подписей различных людей на чеке. Поскольку практически невозможно одинаково расписаться дважды, подобная сеть была бы незаменима при распознавании подписи, несмотря на ее естественные вариации. Если число различных типов подписей, которые должна распознавать сеть, равно Р и образцы в некотором смьюле типичных, наиболее вероятных или усредненных подписей различных людей кодируются векторами О"", п = 1,...,Р, то желательно, чтобы именно эти векторы кодировали и аттракторы сети, которую мы собираемся использовать для классификации.
Хопфилд предложил использовать для решения этой задачи Хеббовское правило построения межнейронных связей.
= Т7Е "1 7 . W = О, i,j=l,...,N.
iV „
Это правило действительно гарантирует стационарность произвольно выбранных векторов а" в случае, когда их число Р не превосходит примерно 5% от общего числа нейронов N. При
больших значениях Р некоторые из запоминаемых векторов а" теряют свойство стационарности, а при превышении некоторого критического значения - емкости памяти -{Р = 0.14N) стационарные состояния сети теряют всякую связь с ними, и сеть переходит из режима запоминания в режим спинового стекла, для которого характерно наличие очень большого числа аттракторов, далеких от любых запоминаемых векторов. Эти свойства модели Хопфилда были открыты с использованием математического аппарата статистической физики. Заинтересованный читатель может ознакомиться с этим подходом более подробно в последней, дополнительной, главе этой книги.
Важным свойством такой памяти, представленной набором аттракторов сети, является ее распределеннсть. Это означает, что все нейроны сети участвуют в кодировании всех состояний памяти. Поэтому небольшие искажения значений отдельных весов не сказываются на содержании памяти, что повышает устойчивость памяти к помехам.
Конечно, ассоциативная память может быть реализована и без использования нейронных сетей. Для достаточно с помощью обычного компьютера осуществить последовательное сравнение внешнего стимула со всеми предварительно запомненными образами, выбрав из них тот, для которого Хэммингово расстояние до входного сигнала минимально. Однако, сеть Хопфилда позволяет исключить перебор состояний памяти и осуществить эту процедуру параллельным способом, при котором время выборки из памяти не увеличивается с ростом числа запомненных образов.
Модель Крика - Митчисона. Разобучение
в 1983 году в журнале Nature одновременно появились две публикации (Hopfield, Feinstein & Palmer 1983 и Crick & Mitchison, 1983), в которых была описана процедура уменьшения доступа к состояниям ложной памяти и ее возможная биологическая интерпретация. Эта процедура, названная разобучением, применяется к уже обученной сети, в пространстве которой есть ложные состояния. Она предполагает многократное предъявление сети в качестве начальных состояний случайно сгенерированных векторов и прослеживание их эволюции вплоть до
стационарного состояния а*, которое может принадлежать как истинной, так и ложной памяти.
После этого связи в сети модифицируются следующим образом: SWy = -s<j*<j*, i ф j, где
£>0 - небольшая константа.
Хопфилд с коллегами установили, что применение такой процедуры к сети, обученной по правилу Хебба на наборе случайных векторов, приводит к увеличению и выравниванию доступности состояний, соответствующих запоминаемым образам, и снижению доступности состояний ложной памяти. Эти явления они объяснили тем, что в рассматриваемом случае состояниям ложной памяти соответствуют гораздо более "мелкие" энергетические минимумы, чем состояниям, соответствующим запоминаемым образом. Поэтому ложные состояния сильнее подвержены разобучению, которое выражается в "закапывании" энергетических минимумов, в которые попадает система. Выравнивание доступности состояний памяти объясняется тем, что состояния с большими областями притяжения чаще притягивают случайный стимул и их область притяжения уменьшается быстрее, чем у состояний с меньшими сферами притяжения.
Крик и Митчисон, кроме того, предположили, что процесс, аналогичный разобучению, происходит в мозгу человека и животных во время фазы быстрого (парадоксального) сна, для которого характерны фантастические сюжеты (составленные из аналогов ложных образов). В этот период кора головного мозга постоянно возбуждается случайными воздействиями ствола мозга, и возникающие картины далеки от тех, которые дает сенсорный опыт. Разобучение при этом эффективно приводит к забыванию подобных парадоксальных картин и к увеличению доступа к образам, соответствующим объектам внешнего мира. Гипотеза о роли быстрого сна была сформулирована Криком и Митчисоном в виде афоризма: "Мы грезим, чтобы забыть".
Ранее мы определяли обучение по Хеббу как такое, при котором изменение веса Wy пропорционально J- му входу и
выходу /-г0 нейрона. В рекуррентной сети Хопфилда состоянииеУ-го нейрона как раз и является у-м входом для остальных нейронов.
Аттракторам, не совпадающим с векторами ст", часто присваиваются такие негативные названия, как ложная или паразитная память, химеры, русалки и даже мусорная куча. Подобное отношение вызвано тем, что при релаксации начального состояния сети в одно из состояний ложной памяти интерпретировать результат распознавания становится затруднительно. Однако само по себе появление таких непредвиденных аттракторов является замечательным свойством модели Хопфилда и свидетельствует о том, что она способна не просто на ассоциативную выборку запомненной информации, но также и на синтез новых образов. Можно сказать, что сеть активно преобразует исходную информацию, а не является пассивным хранилищем образов. Ниже мы покажем, как можно интерпретировать все аттракторы сети единым образом, и приведем примеры, когда т.н. ложная память играет позитивную роль.