Hopfield, J.J. (1982). "Neural networks and physical systems with emergent collective computational abilities", Proc. Natl. Acad. ScL, 79, 2554-2558.

Hopfield, J.J. (1984). "Neurons with graded response have collective computational properties like those of two-state neurons", Proc. Natl. Acad. Sci., 81, 3088-3092.

McCulloch, W.S., Pitts, W. (1943). "A logical calculus of the ideas immanent in nervous activity". Bulletin of Math. Bio., 5, 5-33.

Maren, A., Harston, C. and Pap, R. Handbool< of Neural Computing Applications. Academic Press, 1990

Mead, С (1989). Analog VLSI and neural systems. Addison Wesley. Minsky, M. and Papert, S. (1969). Perceptrons. MIT Press, Cambridge MA.

M. Muller, B. and Reinhardt, J. Neural Networl<s, An Introduction. Springer-Verlag. 1990.Rosenblatt, F. (1969). Principles of Neurodynamics. Spartan Books, Washington DC, 1961.

Murray A.F. Applications of Neural Nets. Kluwer Academic Publishers, 1995.

Pao, Y. H. Adaptive Pattern Recognition and Neural Networl<s. Addison-Wesley, 1989.

Rumelhart, D.E., Hinton, G.E., and Wiliams, R.J. (1986). "Learning internal representations by error propagation", in: McClelland, J. L. and Rumelhart, D. E. (Eds.). Parallel Distributed Processing: Explorations in tiie Microstructure of Cognition. Volume 1, 318-362. MIT Press, Cambridge MA.

Глава

¥1

Обучение с учтелем: Распознавание образов

Персептроны. Прототипы задач: аппроксичация многомерных функций, классификация образов. Возможности персептронов. Обучение с обратным распространением ошибки. Эффект обобщения и переобучение. Оптимизация размеров сети: разрежение связей и конструктивные ачгоритмы.

Ш Английской грамматикой в объеме Basic English первым овладел Proteus orator mirabilis, тогда как E.coli eloquentissima даже в 21 ООО поколении делал, увы, грамматические ошибки. СЛем, Эрунтика

Ш ... постарайся, насколько можешь отвечать о чем я буду спрашивать тебя. И, если я по рассмотрении твоего ответа найду в нем нечто призрачное и неистинное, незаметно выну это и отброшу... Платон, Теэтет

Персептроны. Прототипы задач

Сети, о которых пойдет речь в этой главе, являются основной "рабочей лошадкой" современного нейрокомпьютинга. Подавляющее большинство приложений связано именно с применением таких многослойных персептронов или для краткости просто персептронов (напомним, что это название происходит от английского perception - восприятие, т.к. первый образец такого рода машин предназначался как раз для моделирования зрения). Как правило, используются именно сети, состоящие из последовательных слоев нейронов. Хотя любую сеть без обратных связей можно представить в виде последовательных слоев, именно наличие многих нейронов в каждом слое позволяет существенно ускорить вычисления используя матричные ускорители.

В немалой степени популярность персептронов обусловлена широким кругом доступных им задач. В общем виде они решают задачу аппроксимации многомерных функций, т.е. построения

многомерного отображения F: х у , обобщающего заданный набор примеров х", у" }

В зависимости от типа выходных переменных (тип входных не имеет решающего значения), аппроксимация функций может принимать вид

Классификации (дискретный набор выходных значений), или

Регрессии (непрерывные выходные значения)

Многие практические задачи распознавания образов, фильтрации шумов, предсказания временных рядов и др. сводится к этим базовым прототипическим постановкам.

Возможности МНОГОСЛОЙНЫХ персептронов

Изучение возможностей многослойных персептронов удобнее начать со свойств его основного компонента и одновременно простейшего персептрона - отдельного нейрона.

Нейрон - классификатор

Простейшим устройством распознавания образов, принадлежащим к рассматриваемому классу сетей, является одиночный нейрон, превращающий входной вектор признаков в скалярный ответ, зависящий от линейной комбинации входных переменных:

7=0 J J

Здесь и далее мы предполагаем наличие у каждого нейрона дополнительного единичного входа с нулевым индексом, значение которого постоянно: Хд = 1. Это позволит упростить выражения,

трактуя все синаптические веса Wj, включая порог Wq , единым образом.

Скалярный выход нейрона можно использовать в качестве т.н. дискриминантной функции. Этим термином в теории распознавания образов называют индикатор принадлежности входного вектора к одному из заданных классов. Так, если входные векторы могут принадлежать одному из двух классов, нейрон способен различить тип входа, например, следующим образом: если /(х) > О , входной вектор принадлежит первому классу, в противном случае - второму.

Поскольку дискриминантная функция зависит лишь от линейной комбинации входов, нейрон является линейным дискриминатором. В некоторых простейших ситуациях линейный дискриминатор - наилучший из возможных, а именно - в случае когда вероятности принадлежности входных векторов к классу к задаются гауссовыми распределениями

осехр

-(x-m,)s->(x-m,)

с одинаковыми ковариационными матрицами S . В

этом случае границы, разделяющие области, где вероятность одного класса больше, чем вероятность остальных, состоят из гиперплоскостей (см. Рисунок 1 иллюстрирующий случай двух классов).

Причина популярности персептронов кроется в том, что для своего круга задач они являются во-первых универсальными, а во-вторых - эффективными с точки зрения вычислительной сложности устройствами. В этой главе мы затронем оба аспекта.