4 =(Л -Ok)-

Аналогичным образом выводятся уравнения коррекции для параметров, управляющих формой функций принадлежности нечетких понятий слабый L, и сильный Н-, курс доллара: Pi,Oi,i = 1,2,3. Легко заметить, что особенностью описанного нами совместного

использования нейросетевого и нечеткого подходов заключается в том, что адаптируются не величины связей между нейронами, а формы нелинейного преобразования, осуществляемого нейронами (формы функции принадлежности). С нейрокомпьютерной точки зрения достоинства нечетких моделей как раз и связано с нелинейностью функции принадлежности. Фиксирование и изначальное задание архитектуры сети позволяет интерпретировать ее решения. И что особенно важно, описанный подход по сути позволяет инкорпорировать априорные знания в структуру нейронной сети.

Нейронные сети и статистическая физика

Данная тема заслуживает не одной книги и ей действительно посвящена обширнейшая литература. В настоящем курсе лекций мы не можем хоть сколько-нибудь подробно остановится на ней. Рассмотрим кратко лишь применение соответствующих идей к анализу сети Хопфилда. Демонстрация тесной аналогии, существующей между спиновыми стеклами и нейронными сетями, определила массированное и плодотворное вторжение методов статистической физики в теорию нейронных сетей в начале восьмидесятых годов. Сеть Хопфилда со стохастическими нейронами и явилась главной моделью, в которой применение этих методов оказалось наиболее значительным. Это чрезвычайно плодотворное обобщение модели, в некотором смьюле эквивалентное переходу к сетям с градуальными нейронами. В нем нейроны являются стохастическими элементами и это обстоятельство открывает путь использованию методов статистической физики для анализа свойств ассоциативной памяти.

Стохастические нейроны

Стохастический нейрон, как и в оригинальной модели Хопфилда, является бинарным - его состояние Si принимает значения ± 1. Однако то, в какое состояние перейдет нейрон, связано

со значением потенциала /г, не однозначно, а случайным образом. Именно, вероятность

перехода нейрона в состояния±1:РгД/-ь 1) = 1) =/(/г),

РфД/ +1) = -1) = /(-/?,) = 1 - /(/г,), или иначе

Рг(.,(/ + 1)) = /(/г,),

где /{И) - распределение Ферми: /{К) = , удовлетворяющее необходимым

условиям О < /(/г) < 1; f{h) + f {-К) = 1, и Р=Т~ - обратная температура. В низкотемпературном пределе Г -> О распределение Ферми переходит в пороговую функцию, и поведение сети из стохастических нейронов становится аналогичным поведению сети Хопфилда, составленной из обычных бинарных нейронов.

Приближение среднего поля

Поскольку динамика состояний стохастических нейронов является вероятностной, можно интересоваться только средней активностью, или же ожидаемыми значениями их состояний

(.,) = (+1)(/(/г,0) + (-1)(/(-/г,)

В силу нелинейности функции Ферми усреднение ее затруднительно, но в приближении среднего поля (/(h)) = f ((/г)) можно получить следующую замкнутую систему уравнений.

1 + е

= tanh((/z,» = tanh /fZyWl

Фазовые переходы

На простом примере можно убедиться, что свойства сети критическим образом зависят от температуры . Действительно, если величины всех синаптических связей положительны и

равны между собой: \/Wy = (такая система эквивалентна ферромагнетику), то все уравнения системы сводятся к одному

V(,.) = () = tanh()).

Решение этого уравнения зависит от крутизны наклона функции гиперболического тангенса в начале координат (см. Рисунок 5). При вьюокой температуре (Т >1, /3 <1) уравнение имеет

только тривиальное решение = О. Это означает, что состояния всех нейронов беспорядочно флуктуируют, принимая с равной вероятностью значения ± 1.

А<1

Рисунок 5. Иллюстрация к характеру решений уравнения среднего поля в приближении высокой и низкой температур.

Однако, при снижении температуры ниже точки Кюри =1 в системе происходит фазовый переход, при котором тривиальное решение становится неустойчивым, а у уравнения среднего поля появляется еще два устойчивых нетривиальных решения ± Sq .

Сеть Хопфилда с Хеббовскими связями

Рассмотрим интересующий нас случай сети, в которой связи вычислены по Хеббовскому правилу, исходя из вида Р запоминаемых векторов. В этом случае уравнения среднего поля принимают вид

\Si I = tanh

Если сеть работает как ассоциативная память, то разумно предположить, что каждому запоминаемому вектору ст должно соответствовать некоторое решение системы, совпадающего с ним с точностью до постоянного множителя

{s) = та.

Подставляя это выражение в уравнения среднего поля и используя предположение, что все векторы памяти не коррелированы и значения их компонент с равной вероятностью принимают значения ±1, получим:

та!" = tanh

= tanh

pmaf + ртО

Ч N

В пределе N со, Р « N получаем знакомое уравнение для множителя т: т = tanh(y5w).

Вновь при вьюокой температуре (Г > 1) это уравнение имеет только тривиальное решение и усредненная по времени конфигурация состояний нейронов не имеет ничего общего с запоминаемыми образами. При (Т < 1) уравнение имеет два решения т = +т, для которых

средняя конфигурация активностей указывает на одно из запоминаемых состояний а, или на

его "зеркального двойника" -а. Из этих состояний однозначно восстанавливаются образы памяти. Однако, если сделать моментальный снимок состояния сети, то в силу флуктуации она практически никогда не находится ни в одном из состояний памяти, всегда воспроизводя их с некоторой ошибкой. Теоретически было показано, что загрузка памяти, а = P/N, оказывает

на поведение системы такое же влияние, как температурный параметр в распределении Ферми. Когда этот параметр мал, каждому из запоминаемых некоррелированных образов соответствует стационарное состояние сети. Однако, при приближении его к критической емкости = 0.138 ,

Такое поведение характерно и для общего случая. Мы увидим далее, что в модели Хопфилда свойства ассоциативного запоминания и вызова образов проявляются в некоторой области температуры и дополнительного параметра - степени загрузки памяти. Вне этой области система переходит в неупорядоченное состояние.