дение) с целью выбрать наилучшую конфигурацию сети (с точки зрения способности к обобщению) и получить оценку надежности модели. Каждый вариант конфигурации сети обучался в течение 30 циклов (3000 эпох) на 29 образцах, а 30-й образец оставлялся для проверки. Выбор подходящей архитектуры сети осуществлялся на основании статистики но среднеквадратичной ошибке (RMSE) перекрестного подтверждения (CV = Cross-Validation).

Таблица 8.10. Данные перекрестного подтверждения для различных вариантов архитектуры сети

Была сделана попытка выбрать степень сложности модели, исходя из другого критерия - итоговой ошибки прогноза (FPE = Final Prediction Error). Эта величина вычисляется по ошибке на всем обучающем множестве с добавлением штрафного слагаемого за сложность модели:

FPE (Х) = MSE {Х)[{1 + S {X)/N){1 - S (к)/М)],(2)

где N- объем выборки, S (А,) - число весов модели (к).

Для линейных моделей в предположении, что объем выборки достаточно велик, этот критерий дает несмещенную оценку риска обобщения при прогнозе. Это утверждение верно в асимптотическом смысле при N->оо, и наши результаты указывают на то, что при S (А,) -> N оно не выполняется. Утанс и Муди [270] утверждают, что несмещенные оценки могут быть получены также для нелинейньгх моделей (в частности, нейронных сетей).

Мы подсчитывали FPE для различньгх сетей возрастающей сложности, и в табл. 8.11 приведены результаты, соответствующие двум видам выходных элементов: многопорогового (О, 0.5, 1) и сигмоид-ного.

Для исследуемой задачи модель FPE1 (сигмоидная) представляется не вполне подходящей, так как FPE здесь более естественно было бы вычислять «ступенчато» (как это делается в FPE2). Критерий FPE2 имеет локальный минимум для конфигурации 3-1-1, что согласуется с результатами перекрестного подтверждения. Это, однако, говорит о том, что ни один из методов выбора модели не является идеальным (при конечном числе точек наблюдения). Поэтому мы остано-

вим свой выбор на перекрестном подтверждении как на наиболее надежном методе выбора варианта модели и рассмотрим 3-1-1 сеть.

Из таблицы результатов классификации для 3-1-1 сети (см. табл. 8.13) видно, что 80% случаев из 1-й группы и 90% из 3-й группы были классифицированы правильно. С другой стороны, из сомнительных компаний ни одна не была идентифицирована правильно.

Таблица 8.12. Метод повторной подстановки. Результаты для сетей возрастающей сложности

Мы проводили также обучение этих сетей на всем обучающем множестве (метод повторной подстановки), меняя при этом число скрытых элементов от О до 4. Как и следовало ожидать, при увеличении сложности сети (числа весов) ошибка классификации уменьшалась, а для сети с четырьмя скрытыми элементами даже было достигнуто полное соответствие в отображении (ошибка равна нулю). Так как для отделения друг от друга трех групп понадобилось 4 скрытых элемента, задача, очевидно, является нелинейно отделимой. Однако, результаты перекрестного подтверждения заставляют сомневаться в возможностях такой сети к обобщению. Далее будут анализировать-

Действительный номер группы

Число случаев

Группа 1 Банкроты Группа 2 Неясные случаи Группа 3

Жизнеспособные Доля правильно классифицированньгх случаев:70%

Таблица 8.13. Метод повторной подстановки. Результаты классификации для 3-1-1 сети

Нейронная сеть не смогла превзойти результаты метода MDA на 2-й группе компаний. Эта группа состоит из фирм с неясным будущим. В данный момент их финансовое положение неустойчиво, и, возможно, они справятся с этими трудностями, а, может быть, и нет. Было бы интересно сравнить результаты классификации с тем, что в действительности произошло с этими фирмами спустя некоторое время. Опять-таки, приятно отметить, что компании, неправильно классифицированные методом MDA, были также неправильно оценены нейронным классификатором. 100-процентный результат, достигнутый на 3-й группе, говорит о том, что эта часть компаний образует отчетливо выделяемую область в пространстве переменньгх.

Все полученные результаты собраны на рис. 8.1, где для каждой компании наряду с ее истинным номером группы (целевой перемен-

ной) изображены результаты ее классификации 3-1-1 нейронной сетью, методами MDA и 1-NN. Для удобства дискретные выходные значения представлены в непрерывном виде.

i(Nn-iTj<uV£)t->OOOsO--(Nn-iTj<u-)V£)

t-> 00 OS О (N (N (N ГО

Компания

Цель

1-NN

3-1-1

Рис. 8Л. Метод повторной подстановки. Результаты классификации различными методами

ОБСУЖДЕНИЕ

Голландским инвестиционным банком была разработана и использовалась реальная качественная база данньгх для оценки будущего состояния дел его корпоративньгх клиентов. Из-за того, что целевая переменная определялась задним числом, данные не позволяли исследовать ошибки 2-го рода. При помощи нелинейного анализа главньгх компонент первоначальное количество переменньгх (49) было уменьшено до 19 переменньгх, которые располагались в трех измерениях. В связи с тем, что, как выяснилось, около 60% исходньгх переменньгх несущественны для принятия решения, банк в настоящее время подумывает о том, чтобы изменить способ оценки. Как вариант рассматривается двухступенчатая процедура, в которой клиент сначала проходит сканирование по 19 переменным, а в случае успеха вкдючаются в работу 30 новьгх переменных. Благодаря такому «двухъярусному» методу будут высвобождены значительные управленческие ресурсы банка. Малая степень значимости пяти финансовьгх показателей в полученном трехмерном пространстве может быть связана с тем, что в исследуемой выборке были представлены только жизнеспособные компании.

ся результаты, полученные для модели 3-1-1 после 7000 эпох обучения.

Конфигурация 3-1-1 дает точность классификации примерно 70%, что на 10% лучше, чем MDA. В первой группе число правильно классифицированньгх элементов стало больше на 30% - прекрасный результат с учетом того, что структура базы данньгх позволяет анализировать только ошибки 1-го рода. Показательно, что и MDA, и нейронная сеть одновременно неправильно классифицировали одну из компаний 1-й группы (№13 в списке) как жизнеспособную (отнесли ее к 3-й группе). Такое совпадение заставило банк пересмотреть ее рейтинги. Оказалось, что эта компания получила очень высокие оценки по многим параметрам благодаря тому, что в тот момент качество оценки было несовершенным.

Предсказанный номер группы 3-1-1

На вход нейронного классификатора, показавшего наилучхпую способность к обобщению (таким оказалась 3-1-1 сеть), была подана часть образцов. Результаты классификации (70-процентное попадание) выглядят обнадеживающе на фоне традиционньгх методов - линейного множественного дискриминантного анализа (MDA) и метода ближайшего соседа (1-NN). Однако способность сети к прогнозированию (56.7% правильньгх ответов) оказалась ниже ожидаемой. Можно предположить, что целевая переменная была не вполне правильно специфицирована для сомнительньгх компаний (погранич-ньгх случаев), и истинную картину можно будет установить, сравнивая результаты, полученные сетью, с реальными показателями в будущем.

Тем не менее, результаты наших исследований побудили Отдел корпоративного финансирования банка к продолжению исследовательских работ в области извлечения экспертньгх знаний.

."ОКО!/ jO,!. " "

! ! n

1 1!! I \

ПРИЛОЖЕНИЕ 1:

ИССЛЕДОВАННЫЕ ФИНАНСОВЫЕ ОРГАНИЗАЦИИ

Bank Handlowy, Варшава

Bank Inicjatyw Gospodarczych, Варшава

Bank Komercyjny Posnania, Познань

Bank Plocki Spoldzielczy, Плоцк

Bank Pocztowy S.A., Быдгощ

Bank Rozwoju Rolnictwa, Познань

Bank Slaski S.A., Катовице

Bank Spoldzielczy, Кутно

BOS Bank, Варшава

Citibank Poland S.A., Варшава

Еп1ефП8е Credit Софога11оп, Варшава

Gliwicka Bank Handlowy, Гливице

Gorno-laski Bank Gospodarczy S.A., Катовице

Gospodarczy Bank Wielkopolsjci S.A., Познань

Interbank S.A., Варшава

Kredyt Bank S.A., Лодзь

Kredyt Bank S.A., Варшава

National Bank of Poland, Варшава

Pierwszy Polsko-Amerykanski Bank S.A., Краков

Powszechny Bank Gospodarczy, Лодзь

Powszechny Bank Kredytowy S.A., Варшава

Societe Generale, Варшава

Wielkopolski Bank Kredytowy, Познань

♦ обозначены организации, в которых работал хотя бы один из 12 экспертов

I.