с, = (0,0), с, = (1,0), Сз = (0,1), с, = (1,1), кодирующих нейронов.

обеспечивающим равномерную "загрузку"

Отличие между входными и выходными переменными

В заключении данного раздела отметим одно существенное отличие способов кодирования входных и выходных переменных, вытекающее из определения градиента ошибки:

г„] = 4"х". А именно, входы участвуют в обучении непосредственно, тогда как выходы -

лишь опосредованно - через ошибку верхнего слоя. Поэтому при кодировании категорий в качестве выходных нейронов можно использовать как логистическую функцию активации

f{a) = jis" + l), определенную на отрезке 0,1 , так и ее антисимметричный аналог для

отрезка -1,1, например: /(а) = tanh(a). При этом кодировка выходных переменных из

обучающей выборки будет либо 0,1}, либо -1,1}. Выбор того или иного варианта никак не

скажется на обучении.

В случае со входными переменными дело обстоит по-другому: обучение весов нижнего слоя сети определяется непосредственно значениями входов: на них умножаются невязки, зависящие от выходов. Между тем, если с точки зрения операции умножения значения ± 1 равноправны, между О и 1 имеется существенная асимметрия: нулевые значения не дают никакого вклада в градиент ошибки. Таким образом, выбор схемы кодирования входов влияет на процесс обучения. В силу логической равноправности обоих значений входов, более предпочтительной выглядит симметричная кодировка: -1,1}, сохраняющая это равноправие в процессе обучения.

Нормировка и предобработка данных

Как входами, так и выходами нейросети могут быть совершенно разнородные величины. Очевидно, что результаты нейросетевого моделирования не должны зависеть от единиц измерения этих величин. А именно, чтобы сеть трактовала их значения единообразно, все входные и выходные величины должны быть приведены к единому - единичному - масштабу. Кроме того, для повышения скорости и качества обучения полезно провести дополнительную предобработку данных, выравнивающую распределение значений еще до этапа обучения.

Индивидуальная нормиров!» данных

Приведение данных к единичному масштабу обеспечивается нормировкой каждой переменной на диапазон разброса ее значений. В простейшем варианте это - линейное преобразование:

X, - X,

X, =

V- Т

/,тах i,mm

В единичный отрезок: х,

0,1 . Обобщение для отображения данных в интервал -1,1

рекомендуемого для входных данных тривиально.

Линейная нормировка оптимальна, когда значения переменной х, плотно заполняют

определенный интервал. Но подобный "прямолинейный" подход применим далеко не всегда. Так, если в данных имеются относительно редкие выбросы, намного превышающие типичный разброс, именно эти выбросы определят согласно предыдущей формуле масштаб нормировки. Это приведет к тому, что основная масса значений нормированной переменной х,

сосредоточится вблизи нуля: х «1.

-15 -10 -5О5 10 15

Рисунок 2. Гистограмма значений переменной при наличии редких, но больших по амплитуде отклонений от среднего

Гораздо надежнее, поэтому, ориентироваться при нормировке не на экстремальные значения, а на типичные, т.е. статистические характеристики данных, такие как среднее и дисперсия:

X, =

В этом случае основная масса данных будет иметь единичный масштаб, т.е. типичные значения всех переменных будут сравнимы (см. Рисунок 2).

Однако, теперь нормированные величины не принадлежат гарантированно единичному интервалу, более того, максимальный разброс значений х, заранее не известен. Для входных

данных это может быть и не важно, но выходные переменные будут использоваться в качестве эталонов для выходных нейронов. В случае, если выходные нейроны - сигмоидные, они могут принимать значения лишь в единичном диапазоне. Чтобы установить соответствие между обучающей выборкой и нейросетью в этом случае необходимо ограничить диапазон изменения переменных.

Линейное преобразование, как мы убедились, неспособно отнормировать основную массу данных и одновременно ограничить диапазон возможных значений этих данных. Естественный

АauaaaeaieeаёуаёпТабпёёgiaiaiaoaeuaaaai(РЛ),а\аРёд-дабёбёббабёё/ба/ёепбаайаТ J.

выход из этой ситуации - использовать для предобработки данных функцию активации тех же нейронов. Например, нелинейное преобразование

, Аа) =

нормирует основную массу данных одновременно гарантируя, что х,

(см. Рисунок 3).

020406081

Рисунок 3. Нелинейная нормировка, использующая логистическую функцию активации /(а) = (l + б")

Как видно из приведенного выше рисунка, распределение значений после такого нелинейного преобразования гораздо ближе к равномерному.

До сих пор мы старались максимизировать энтропию каждого входа (выхода) по отдельности. Но, вообще говоря, можно добиться гораздо большего максимизируя их совместную энтропию. Рассмотрим эту технику на примере совместной нормировки входов, подразумевая, что с таким же успехом ее можно применять и для выходов а также для всей совокупности входов-выходов.

Совместная нормиров!»: выбеливание входов

Если два входа статистически не независимы, то их совместная энтропия меньше суммы

индивидуальных энтропии: h{xjXj< н{х +н{х. Поэтому добившись статистической

независимости входов мы, тем самым, повьюим информационную насыщенность входной информации. Это, однако, потребует более сложной процедуры совместной нормировки входов.

Вместо того, чтобы использовать для нормировки индивидуальные дисперсии, будем рассматривать входные данные в совокупности. Мы хотим найти такое линейное преобразование, которое максимизировало бы их совместную энтропию. Для упрощения