Deboeck, G. and Kohonen, Т. (Eds). Visual Explorations in Finance witii Self-Organizing Maps. Springer, 1998.

Hebb, D.O. (1949). Tlie Organization ofBeliavior New York: Wiley.

Hertz, J., Krogh, A., and Palmer, R. Introduction to tiie Tlieory of Neural Computation. Addison-Wesley, 1991.

Kohonen, T. (1982). "Self-organized formation of topologically correct feature maps". Biol. Cybernetics 43, 56-69.

Kohonen, T. Self-Organizing Maps. Springer, 1997 (2-nd edition).

Linsker, R. (1992). Local synaptic learning rules suffice to maximize mutual information in linear network". Neural Computation 4, 691-702.

Oja, E (1982). "A simplified neuron model as a Principal Component Analyzer", J. Matii. Biology, 16, 267-273.

Oja, E., Ogawa, H., and Wangviwattana J., (1991) "Learning in nonlinear constrained Hebbian networks", in Artificial Neural Networl<s (Proc. ICANN-91), T.Kohonen et al. (Eds.). Amsterdam: North-Holland, 385-390.

Глава

Рекуррентные сети: Ассоциативная память

Сеть Хопфшда и спиновые стекла. Энергия и динамика сети. Ассоциативная память: запись и воспроизведение. Емкость памяти: термодинамический подход. Чувствительность к огрублениям и повреждениям связей. Повышение емкости памяти: разобучение. Запоминание последовательностей образов. Сеть Хопфшда с точки зрения теории информации. Выделение прототипов и предсказание новых классов.

Ш Самое худшее случилось - сказал сэр Дональд Акер, когда в Массачусетском Технологическом Институте соединили входы с выходами СЛем, Не буду прислуживать

Мы уже познакомились с сетями, обучаемыми с учителем, задающим образцы правильных ответов, и обучаемыми без учителя, которые адаптируют свою структуру к данным не требуя дополнительной информации о принадлежности их к тому или иному классу. Однако до сих пор мы ограничивались сетями без обратных связей. Такие сети, будучи обучены, выдают ответ сразу после прохождения черех них входного сигнала. Каждый нейрон, при этом срабатывает лишь однажды. Соответственно, достаточно глубокая, многостадийная обработка данных подразумевает наличие многих слоев, что усложняет обучение. Естественным обобщением таких однопроходных схем служат т.н. рекуррентные сети, выходы которых возвращаются обратно на их входы. Тем самым, информация пропускается через одну и ту же сеть многократно.

Новое качество, присущее рекуррентным сетям, - динамическая обработка информации.

Одной из наиболее известных моделей такого рода, которая оказала важнейшее воздействие на возрождение интереса к нейронным сетям в восьмидесятые годы, является сеть Хопфилда. В данной главе мы рассмотрим структуру и свойства этой сети, делающие ее таким привлекательным объектом как теоретических, так и прикладных исследований.

Исторический поворот в 1982 году

в 1982 году в докладах Американской академии наук была опубликована статья американского физика, специалиста в области физики твердого тела из Калифорнийского Технологического Института, Джона Хопфилда (Hopfield, 1982а). С этой работы начался бурный процесс возрождения интереса к искусственным нейронным сетям, на который так негативно повлияла в конце шестидесятых книга Минского и Пейперта. В работе Хопфилда впервые было обращено внимание на аналогию, которая существует между сетями с симметричными связями и давно известными физикам объектами - спиновыми стеклами. Кроме того, стало ясно, что такие сети служат прекрасной основой для построения моделей содержательно-адресованной памяти. И наконец, обнаружилось, что нейронные сети могут быть успешно исследованы с помощью

Спиновые стекла

в кристаллической решетке атомы, обладающие магнитными моментами, могут взаимодействовать друг с другом различными способами. Если связи между моментами таковы, что стремятся сориентировать их параллельно, то в основном состоянии (состоянии минимальной энергии) все атомы в решетке ориентируют свои моменты параллельно. Такие вещества называются ферромагнетиками. Связи между атомами описываются при этом одинаковыми положительными числами и называются также ферромагнитными. Если, напротив, все связи отрицательны, то такие вещества называются антиферромагетиками. В антиферромагнетиках соседние спины ориентируются в противоположных направлениях. А вот если связи между магнитными моментами атомов имеют случайные значения знаков, то соответствующие системы называются спиновыми стеклами (см. Рисунок 1). Основная особенность системы связей в спиновых стеклах такова, что система в целом оказывается фрустрированной.

Рисунок 1. Знаки связей между спинами в ферромагнетике, антиферромагнетике и спиновом стекле

Фрустрация ("разочарование") означает, что как бы ни сориентировались отдельные магнитные моменты атомов в спиновом стекле, всегда найдутся такие пары из них, в которых взаимодействие вносит положительный (разочаровывающий) вклад в энергию состояния (см. Рисунок 2).

Вообще говоря, еще задолго до этого, в 1954г. Крэгг и Темперли указали на аналогию между стационарной активностью нейронных сетей и коллективными состояниями в системах магнитных диполей, а в 1974 году Литтл также провел аналогию между нейронными сетями и спиновыми системами и указал на аналогию шума и температуры. Но ряд обстоятельств, в частности, связанных с другим характером динамики нейронов, другим типом возникающих в сети аттракторов и, главным образом, недостаточно четкая физическая аналогия, не позволили этим исследователям оказать на развитие теории нейронных сетей того влияния, какое оказала на него работа Хопфилда.

методов теоретической физики, в частности, статистической механики. Результатом этого обстоятельства явилось массовое внедрение физиков и физических методов в эту новую область знания.