Рисунок 8. Ранняя остановка сети в момент минимума ошибки валидации (штрих-пунктирная кривая). При этом обычно ошибка обучения (сплошная кривая) продолжает понижаться.

Эта методика привлекательна своей простотой. Но она имеет и свои слабые стороны: слишком большая сеть будет останавливать свое обучение на ранних стадиях, когда нелинейности еще не успели проявиться в полную силу. Т.е. эта методика чревата нахождением слабо-нелинейных решений. На поиск сильно нелинейных решений нацелен метод прореживания весов, который, в отличае от предыдущего, эффективно подавляет именно малые значения весов.

Прореживание связей

Эта методика стремится сократить разнообразие возможных конфигураций обученных нейросетей при минимальной потере их аппроксимирующих способностей. Для этого вместо колоколообразной формы априорной функции распределения весов, характерной для обычного обучения, когда веса "расползаются" из начала координат, применяется такой алгоритм обучения, при котором функция распределения весов сосредоточена в основном в "нелинейной" области относительно обльших значений весов (см. Рисунок 9).

преобразований, т.е. является также линейным преобразованием с эффективным числом параметров равным числу входов, умноженному на число выходов. По мере возрастания весов и степень нелинейности, а вместе с ней и эффективное число параметров возрастает, пока не сравняется с общим числом весов в сети.

В методе ранней остановки обучение прекращается в момент, когда сложность сети достигнет оптимального значения. Этот момент оценивается по поведению во времени ошибки валидации. Рисунок 8 дает качественное представление об этой методике.

Рисунок 9. Подавление малых значений весов в методе прореживания связей

Этого достигают введением соответствующей штрафной составляющей в функционал ошибки. Например, априорной функции распределения:

P(iV)ocexp

имеющую максимум в вершинах гиперкуба с ~ , соответствует штрафной член

в функционале ошибки. Дополнительная составляющая градиента

complex

исчезающе мала для больших весов.

» , И пропорциональна величине малых весов.

< . Соответственно, на больших штрафная функция практически не сказывается, тогда

как малые веса экспоненциально затухают.

Таким образом, происходит эффективное вымывание малых весов (weights elimination), т.е. прореживание малозначимых связей. Противоположная методика предполагает, напротив, поэтапное наращивание сложности сети. Соответствующее семейство алгоритмов обучения называют конструктивными алгоритмами.

Конструктивные алгоритмы

Эти алгоритмы характеризуются относительно быстрым темпом обучения, поскольку разделяют сложную задачу обучения большой многослойной сети на ряд более простых задач, обычно -обучения однослойных подсетей, составляющих большую сеть. Поскольку сложность обучения пропорциональна квадрату числа весов, обучение "по частям" выгоднее, чем обучение целого:

Для примера опишем так называемую каскад-корреляционную методику обучения нейросетей. Конструирование сети начинается с единственного выходного нейрона и происходит путем добавления каждый раз по одному промежуточному нейрону (см. Рисунок 10).

Рисунок 10. Каскад-корреляционные сети: добавление промежуточных нейронов с фиксированными весами (тонкие линии).

Эти промежуточные нейроны имеют фиксированные веса, выбираемые таким образом, чтобы выход добавляемых нейронов в максимальной степени коррелировал с ошибками сети на данный момент (откуда и название таких сетей). Поскольку веса промежуточных нейронов после добавления не меняются, их выходы для каждого значения входов можно вычислить лишь однажды. Таким образом, каждый добавляемый нейрон можно трактовать как дополнительный признак входной информации, максимально полезный для уменьшения ошибки обучения на данном зтапе роста сети. Оптимальная сложность сети может определяться, например, с помощью валидационного множества.

Литература

Bishop C.IVI. Neural Networks and Pattern Recognition. Oxford Press. 1995.

Fausett, L.V. Fundamentals of Neural Networl<s: Arciiitectures, Algoritiims and Applications. Prentice Hall, 1994.

Hertz, J., Krogh, A., and Palmer, R. Introduction to tiie Tiieory of Neural Computation. Addison-Wesley, 1991.

Masters,T. Practical Neural Networl< Recipes in С++. Academic Press. 1994.

McCord Nelson, M. and lllingworth, W.T. A Practical Guide to Neural Nets. Addison-Wesley, 1990.