Такой режим обучения сети называют обучением без учителя. В этом случае сети предлагается самой найти скрытые закономерности в массиве данных. Так, избыточность данных допускает сжатие информации, и сеть можно научить находить наиболее компактное представление таких данных, т.е. произвести оптимальное кодировние данного вида входной информации.
Таблица 5. Сравнение режимов обучения нейросетей
Вид обучения: | С "учителем" | С "подкреплением" | Без "учителя" |
Что подается в качестве обучающих примеров | Набор пар входов-выходов {х",у"} | Оценка выходов сети {х«,у(х«)} | Только набор входных значений х" |
Что требуется от сети | Найти функцию, обобщающую примеры, в случае дискретных у" - классифицировать входы. В целом - научиться реагировать схожим образом в схожих ситуациях. | Научиться заданной "правильной" линии поведения. | Найти закономерности в массиве данных, отьюкать порождающую данные функцию распределения, найти более компактное описание данных. |
С практической точки зрения, "помеченные" данные (х",у" зачастую дороги и не столь
многочисленны, как "непомеченные" {х", например, в случае, когда "учителем" является
человек - эксперт. В силу этого обстоятельства на таких данных можно обучить лишь относительно простые и компактные нейросети. Напротив, нейросети, обучаемые без учителя часто используют для переработки больших массивов "сырых" данных - в качестве предобрабатывающих фильтров. Указанное различие, однако, исчезает, когда данные естественным образом распадаются на входы-выходы, например при предсказании временных рядов, где следующее значение ряда является выходом, а предыдущие несколько значений -соответствующими входами обучаемой нейросети.
Архтектура связей
На способ обработки информации решающим образом сказывается наличие или отсутствие в сети петель обратных связей. Если обратные связи между нейронами отсутствуют (т.е. сеть имеет структуру последовательных слоев, где каждый нейрон получает информацию только с
детскую игру "холоднее-горячее" или лабораторную мышь в лабиринте с лакомствами и электрошоком). Этот тип обучения называют обучением с подкреплением {reinforcement learning).
Вообще говоря, возможен и такой режим обучения, когда желаемые значения выходов вообще неизвестны, и сеть обучается только на наборе входных данных {х"}:
Сравнение сетей: | Без обратных связей (многослойные) | С обратными связями |
Преимущества | Простота реализации. Гарантированное получение ответа после прохождения данных по слоям. | Минимизация размеров сети - нейроны многократно участвуют в обработке данных. Меньший объем сети облетает процесс обучения. |
Недостатки | Требуется большее число нейронов для алгоритмов одного и того же уровня сложности. Следствие -большая сложность обучения. | Требуются специальные условия, гарантирующие сходимость вычислений. |
Классификация ло тилу связей и тилу обучения (Encoding-Decoding)
Ограничившись лишь двумя описанными выше факторами, разделяющими сети по типу обучения (программирования) и функционирования, получим следующую полезную классификацию базовых нейро-архитекгур, впервые предложенную, по-видимому, Бартом Коско (Таблица 7).
предыдущих слоев), обработка информации в сети однонаправленна. Входной сигнал обрабатывается последовательностью слоев и ответ гарантированно получается через число тактов равное числу слоев.
Наличие же обратных связей может сделать динамику нейросети (называемой в этом случае рекуррентной) непредсказуемой. В принципе, сеть может "зациклиться" и не выдать ответа никогда. Причем, согласно Тьюрингу, не существует алгоритма, позволяющего для произвольной сети определить придут ли когда-либо ее элементы в состояние равновесия (т.н. проблема останова).
Вообще говоря, то, что нейроны в рекуррентных сетях по многу раз принимают участие в обработке информации позволяет таким сетям производить более разнообразную и глубокую обработку информации. Но в этом случае следует принимать специальные меры к тому, чтобы сеть не зацикливалась (например, использовать симметричные связи, как в сети Хопфилда, или принудительно ограничивать число итераций, как это делается в эмуляторе MultiNeuron группы НейроКомп).
Таблица 6. Сравнение архитектур связей нейросетей
Таблица 7. Классификация нейросетей
Тиб обучения (Coding) Тип связей (Decoding) Ф | с "учителем" | Без "учителя" |
Без обратных связей | Многослойные персептроны (аппроксимация функций, классификация) | Соревновательные сети, карты Кохонена (сжатие данных, выделение признаков) |
с обратными связями | Рекуррентные аппроксиматоры (предсказание временных рядов, обучение в режиме online) | Сеть Хопфилда (ассоциативная память, кластеризация данных, оптимизация) |
В этой таблице различные архитектуры сетей, которые встретятся нам далее в этой книге, распределены по ячейкам в зависимости от способа обработки ими информации и способа их обучения. В скобках указаны основные типы задач, обычно решаемых данным классом нейросетей.
В следующих главах, после более близкого знакомства с перечисленными выше основными нейро-архитектурами, мы рассмотрим конкретные примеры задач из области финансов и бизнеса, интересные с практической точки зрения.
Литература
А.Н.Горбань. Обучение нейронных сетей. М: СП Параграф, 1990.
А.Н.Горбань, Д.А.Россиев. Нейронные сети на персональном компьютере. Новосбирск. Наука, Сибирская издательская фирма РАН, 1996.
Ф.В. Широков (1998). "Нейросети на шине VME". Краткая история нейроинформатики. TANA ltd.,
Anderson, J. A. and Rosenfeld, E. Neurocomputing: Foundations ofResearcli. The MIT Press, 1988.
Anderson, J. A, Pellionisz, A. and Rosenfeld, E. Neurocomputing 2: Directions for Researcii. The MIT Press, 1990.
Beltratti A, Margarita S., Terna P. Neural Networl<s for Economic and Financial Modeling. ITCP, 1995. Bishop CM. Neural Networl<s and Pattern Recognition. Oxford Press, 1995. Haykin, S. Neural Networl<s, a Compreiiensive Foundation. Macmillan, 1994. Hecht-Nielsen, R. Neurocomputing. Addison-Wesley,1990.
Навигация
