назад Оглавление вперед


[Старт] [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] [24] [25] [26] [27] [28] [29] [ 30 ] [31] [32] [33] [34] [35] [36] [37] [38] [39] [40] [41] [42]


30

группа О выживутпредоставитьО

группа 1 пограничные случаи не знаю0.5

группа 2 банкротыотказать1

Таким образом количественно выражается естественное отношение упорядоченности между тремя классами. Пять количественных показателей никаким преобразованиям не подвергались, поскольку их значения располагаются приблизительно от -2 до 2 и вполне могут быть поданы на вход сети в исходном виде. И у элементов скрытого слоя, и у выходного элемента функция преобразования была взята сигмоидной с единичной крутизной. Выходные значения разбивались на три категории, соответствующие предполагаемому ответу на основной вопрос:

О < выход < 0.33 0.33 < выход < 0.66 0.66 < выход < 1

положить вьгход равным О j> »

положить вьгход равным 0.5 ;f

положить выход равным 1

Как это и бывает в действительности, в выборке представлены, главным образом, фирмы, которые, по мнению экспертов, должны выжить, и поэтому есть опасность, что сеть получит недостаточно информации, относящейся к потенциальным банкротам. Чтобы уравнять представительство обеих групп, во время обучения сети

Класс 0

Класс 1

Класс 2

Всего

Число весов

Число скрытых

элементов

• 100%

100%

55.90%

100%

100%

, .... 3

32.50%

68.80%

100%

45.70%

4

32.50%

100%

47.50%

27.50%

.-i 100%

66.70%

, 6

37.50%

87.50%

100%

54.20%

Таблица 8.3. Ошибки перекрестного подтверждения

Данные о количестве правильных и неправильных классификаций для 5-2-1 сети, которая имела наименьшую общую ошибку (39%), приведены в табл. 8.4.

Все члены 2-й группы (высокий кредитный риск) и 1-й группы (пограничные случаи) были классифицированы неправильно. Конкретно, двое «банкротов» получили кредиты, а трем «жизнеспособным» было отказано. Общий результат довольно плох, однако нужно отметить, что правильная классификация члена 2-й группы, пропущенного при обучении, представляет собой непростую задачу, по-

прибыль. Для банка, рассматривающего вопрос о предоставлении в первый раз займа новому клиенту, особенно важно минимизировать ощибки 1-го рода, так как они, очевидно, обходятся более дорого. В целом же проблема сложнее, поскольку отказ в предоставлении кредита постоянному клиенту может привести к тому, что он будет для банка потерян, и даже вызвать банкротство компании, которая смогла бы выжить, имея этот кредит. Таким образом, при минимизации ощибок 1-го рода возрастают ошибки 2-го рода.

НЕЙРОННО-СЕТЕВЫЕ МОДЕЛИ

На данной задаче были опробованы различные нейронные классификаторы, и результаты сравнивались с тем, что дают классические дискриминантные методы. Мы рассматривали многослойные сети (MBPN = Multilayer Backpropagation Networks), причем ограничились трехслойными сетями с одним скрытым слоем. Коэффици- ент обучения был взят равным 0.1.

Результаты для случая 5-мерной входной матрицы

Для значений целевой переменной (усредненного экспертного прогноза финансовых трудностей в ближайшие полгода) была выбрана следующая числовая запись:

компании, испытывающие трудности (группа 2), подавались на вход чаще других. Никакой новой информации к базе данных не добавлялось, но уже такое корректирование приводит к правильному расположению гиперплоскостей в пространстве входов.

Из-за малого размера базы данньгх и неравномерного распределения образцов по группам не представляется возможным разбить случайным образом все данные на обучающее, подтверждающее и тестовое множества. Поэтому для получения достоверной оценки доли случаев неправильной классификации применялся метод «складного ножа»: из выборки по очереди выбрасывалось каждое наблюдение. Для оценки обобщающей способности классификатора применялся 59-кратный метод перекрестного подтверждения. Окончательная оценка (так называемая «leave-one-out cross-validation еггог») вычислялась путем суммирования ошибок, полученных при выбрасывании отдельных наблюдений. В данном случае мы получаем 59 сетей, обученных на 58 наблюдениях каждая. Прием повторного использования наблюдений, несмотря на вычислительные затраты, хорош тем, что позволяет максиь1ально использовать имеющуюся информацию, - важное качество, когда число наблюдений невелико.

Ошибка 59-кратного перекрестного подтверждения



Класс

Число неправильных классификаций

100%

100%

Таблица 8.4. Таблица ошибок перекрестного подтверждения для 5-2-1 сети

Все 59 обучающих множеств подавались на вход 4000 раз (с начальным состоянием датчика случайньгх чисел, равным 2). Результаты приведены вместе с соответствующими доверительными интервалами, потому что на компьютере Convex перекрестное подтверждение производилось с автоматически фиксированными начальными весами. При различньгх инициализациях могут получаться разные результаты, и таким образом можно обходить локальные минимумы. Уже первые эксперименты показали, что окончательный ответ очень чувствителен к изменениям установки начальных значений. Чтобы получить более надежные результаты, при обучении нужно выполнить несколько прогонов на 59-элементном множестве и затем оставить только те из них, которые соответствуют наилучшим индивидуальным результатам обучения (наименьшей среднеквадратичной ошибке на обучающем множестве).

Кроме того, мы брали сети с разным числом скрытых элементов (от одного до шести) и обучали их на всем обучающем множестве (метод повторной подстановки). Как и следовало ожидать, с увеличением сложности сети (числа весов) ошибка классификации уменьшалась, а для сети с шестью скрытыми элементами, вообще, оказалась равной нулю (полное обучение). Однако результаты перекрестного подтверждения не внушают доверия к надежности такого метода. Анализ результатов для модели 5-2-1 будет проведен ниже.

А сейчас мы хотим привести матрицы ошибок классификации для 5-2-1 модели и для MDA-метода (см. табл. 8.6).

Выбранная конфигурация сети дает приблизительно 80-процентную точность классификации- вдвое лучше, чем MDA. Это говорит об отличной способности сети к обобщению (вспомните, что наилучшие результаты сеть показала при перекрестном подтверждении). Особенно важно, что все три «промаха» были поняты. Таким образом, ошибки 1-го рода сведены к нулю. Следует помнить, что минимизация этих ошибок имеет смысл только при том условии, что не становятся слишком большими ошибки 2-го рода. Действи-

Неправильные классификации на всем обучающем множестве

Класс 0

Класс 1

Класс 2

Всего

Число весов

Число скрытых элементов

81.30%

2.50%

68.70%

20.30%

43.70%

11.90%

12.50%

3.40%

6.25%

1.70%

Таблица 8.5. Результаты обучения для сетей возрастающей сложности

Предсказанный номер группы MDA

Действительный номер

Число

группы

случаев

Группа 0

Группа 1

Группа 2

Доля правильно классифицированных случаев:

Предсказанный номер группы 5-2-1

Действительный номер

Число

группы

случаев

Группа 0

Группа 1

Группа 2

100%

Доля правильно классифицированных случаев:

Таблица 8.6. Метод повторной подстановки. Результаты сификации для 5-2-1 модели и MDA

клас-

скольку остается всего два наблюдения для идентификации класса «банкротов».

тельно, когда выборка состоит преимущественно из «жизнеспособных» компаний, даже малое количество ошибок 2-го рода сильно скажется на общей ошибке. По этому показателю сеть также опережает MDA.



Убедившись в высоком качестве работы сети, мы обратились к исследованию поведения отдельных переменных. К сожалению, в данном случае каждая степень свободы отвечает за несколько переменных (это относится и к MDA), и роль каждой из них в отдельности с трудом поддается изучению. Поэтому мы заново обучили сеть на исходных, большей частью качественных, данных.

Результаты для 26-мерной входной матрицы .........

При столь небольшом числе степеней свободы (размерность равна 26) едва ли возможно построить сложную сеть, имеющую несколько (более одного) скрытьгх элементов и обладающую хорошими способностями к обобщению. Поэтому мы остановились на конфигурации 26-0-1, которая аналогична случаю логистической регрессии, и обучали сеть в течение 200 эпох. Получившийся в результате вектор весов приведен в приложении 3.

Один весовой коэффициент сам по себе мало что говорит о конечном вкладе переменной в решение. Разные комбинации входньгх значений по-разному взаимодействуют с комбинациями весов, поэтому при анализе необходимо учитывать и сами входные значения. Мы измеряли чувствительность начального решения к изменениям одной входной переменной. Этот метод дает возможность количественно оценить вклад каждой переменной в ответ для данного наблюдения. Вся последовательность действий такова:

1Все значения одной из входных переменньгх х заменяются на ее безусловное ожидание (т.е. среднее арифметическое).

2Вьгход сети перевычисляется для измененной таким образом входной матрицы при сохранении прежней матрицы весов.

3Сравниваются друг с другом абсолютные остатки для такой входной матрицы и для исходной. Именно:

Вклад переменной X = (ЦСЛЬ - ПроГНОЗ „„з„й ) / (цСЛЬ - ПрОГНОЗ) ,

вклад < 0.5влияние переменной сильно отрицательное

1 0.5 < вклад < 0.75влияние умеренно отрицательное

0.75 < вклад < 1.25влияние нейтральное},.

1.25 < вклад < 2.00влияние умеренно положительное .

вклад > 2.00влияние сильно положительное

4Проделать действия из предыдущего шага для остальньгх 25 переменных.

В приложении 4 приведены данные частотного анализа индиви-дуальньгх вкладов по каждой переменной. Величина вклада < 0.75 оз-

начает, что эта переменная «завышает» оценку фирмы, которая по классификации была, скорее всего, отнесена к 1-й или 2-й группам (с высоким кредитным риском). Наиболее значительный вклад в результат классификации дают следующие 7 переменньгх:

A3Положение на рынке

А4Экспортр

В9Благонадежность управляющего , •

С5Зависимость от косвенньгх налоро л ? ц

D1Чистая маржа. . . < j,.

D2Коэффициент покрытия долга

D3Отношение ликвидности*

Все семь переменньгх влияют на то, в какую группу попадет данный элемент, при этом высокий кредитный риск связан, прежде всего, с экспортом и покрытием долга, тогда как низкий кредитный риск коррелирует со всеми семью переменными.

Коль скоро переменная, соответствующая кредитному риску, позволяет различать между собой группы объектов, то естественным следующим шагом представляется предложенный Горманом и Сей-новским кластерный анализ весов-состояния (multivariate analysis along the lines, см. гл. 4). Далее, на решение оказыают влияние как финансовые, так и нефинансовые факторы. Было бы интересно разделить влияние этих двух типов переменньгх и оценить маргинальный вклад качественных переменньгх.

ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ

Эксперимент, где в качестве критерия было взято мнение группы экспертов в области кредитного дела, показал, что нейронные сети являются многообещающим средством для классификации наперед (прогнозирования). Это особенно важно для государств, где права кредиторов при банкротстве постоянно изменяются и где выживание фирмы сильно зависит от возможности получения кредитов. На практике задача построения нужной базы данных, состоящей, в основном, из качественных переменных, может оказаться непростой, однако при недостатке надежных количественных данных кредитные менеджеры так или иначе вынуждены оценивать кредитную привлекательность фирм, основываясь при этом на той, пусть неполной, информации, которой они располагают.

Разрабатывая нейронно-сетевой классификатор, мы пытались построить метод, позволяющий извлекать знания экспертов из сделанных ими оценок. Выяснилось, что ключевое значение имеют 7 переменных, среди которых есть и качественные, и количественные.

[Старт] [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] [24] [25] [26] [27] [28] [29] [ 30 ] [31] [32] [33] [34] [35] [36] [37] [38] [39] [40] [41] [42]