назад Оглавление вперед


[Старт] [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] [24] [25] [26] [27] [28] [29] [30] [31] [32] [33] [ 34 ] [35] [36] [37] [38] [39] [40] [41] [42]


34

а а.

15 -

модель X

модель у

Граница

информационной эффективности

60 80 100 Доля распознанных банкротств (%)

Рис. 9.1. Ошибки 2-го рода в прогнозе банкротств

При том, что MDA-модели способны распознавать гораздо большую долю компаний-банкротов, общий результат не обязательно будет лучше, чем практика аудиторов. Так, если цена одной ошибки 1-го рода в 5 раз больше, чем ошибки 2-го рода, то итоговая погрешность аудиторов будет равна

1% X {5 X (75%) -I- 4 X (1 - 75%)} = 0.0475, что меньше, чем у обеих гипотетических моделей хку.

Эти примеры иллюстрируют следующую мысль: если соотношения цен ошибок различаются сильно, то настройка модели банкротств на конкретные пропорции, по-видимому, более важна, чем

качество модели как таковое. Можно ввести обобщенное понятие информационной значимости модели, используя расстояние до так называемой эффективной информационной границы, т.е. кривой, огибающей результаты всех моделей. На рис. 9.1 модель х расположена ближе к этой границе, чем модель у, и поэтому ее следует считать более информационно эффективной.

Следующая проблема - это выработка стандарта для тестирования. Для оценки MDA-моделей в большинстве случаев берется небольшое количество образцов, и это увеличивает вероятность того, что модель будет слишком точно подогнана под тестовые данные. В выборках обычно содержится поровну компаний-банкротов и небанкротов, а сами данные, как правило, соответствуют периодам интенсивных банкротств. Это приводит к выводу о том, что надежными являются только результаты оценки модели на новых данных. Из табл. 9.1 видно, что даже на самых благоприятных тестах с новыми данными (когда все примеры берутся из одного периода времени и притом однородными в смысле отраслей и размера предприятия) качество получается хуже, чем на образцах, по которым определялись параметры модели. Поскольку на практике пользователи моделей классификации не смогут настраивать модель на другие априорные вероятности банкротства, размер фирмы или отрасль, реальное качество модели может оказаться еще хуже. Качество может также ухудшиться из-за того, что в выборках, используемых для тестирования MDA-моделей, бывает мало фирм, которые не обанкротились, но находятся в зоне риска. Если таких «с риском выживающих» фирм всего четыре-пять, то это искажает реальную долю рисковых компаний, и в результате частота ошибок 2-го рода оказывается недооцененной.

Оценивание Доля ошибок Доля ошибок 1 -го рода (%) 2 -го рода (%)

Новые данные Доля ошибок Доля ошибок 1 -го рода (%) 2-го рода (%)

Альтман [7]

4 21

Альтман [12]

10.3

7.5 10.3

Люерти (1989)

11.1 11.1

Таблица 9.1. Ошибки при определении параметров модели по выборке и на новых данных

ЭКСПЕРИМЕНТ>?i

Пьесе и Вуд [217] провели сравнительную оценку Z-модели Альтмана с аналогами моделей «Datastream» и «ZTaффлepa» (см. [256]), основываясь на точности классификации по данным временных ря-

Если же одно пропущенное банкротство стоит 30 ложных тревог, то ошибки этих двух моделей будут такими:

Цена ошибки модели х: 1% х {30 х (10%) + 10 х (1 - 10%)} = 0.120, Цена ошибки модели у: 1% х {30 х (20%) + 8 х (1 - 10%)} = 0.132, и модель X оказывается лучше, чем у. Заметьте, что наибольший вклад в погрешность модели вносит большое количество ошибок 2-го рода, и так получается потому, что они совершаются на жизнеспособных компаниях, а таких- подавляющее большинство. Решить, достаточно ли существенно отличаются результаты обеих моделей, чтобы по ним можно было высказывать предпочтение, здесь довольно трудно, так как неизвестно, как модель х будет работать при каком-либо совсем другом соотношении между ценами ошибок. При сдаче экзаменов на аудитора экзаменующиеся распознают только 25% компаний-банкротов, но зато на каждый правильный прогноз приходится только 4 ложных тревоги (см. [258]).



дов, выражающих результаты деятельности компаний за период с 1973 по 1986 гг. Этот подход отличается от общепринятого, когда берутся данные за какой-то период времени, предшествовавший банкротству.

Высокая точность модели на выборочньгх данньгх, соответствующих компаниям, о которьгх уже известно, обанкротились они или нет, никак не поможет пользователю систем финансовой классификации делать деньги. Поэтому более правильным способом оценить предполагаемую точность модели представляется такой, где на протяжении определенного отрезка времени исследуются показатели ряда компаний, о которьгх неизвестно заранее, ждет ли их банкротство.

Поскольку новые данные для тестов берутся из той же совокупности, что и образцы, и имеют то же среднее значение, функцию распределения и частоту того или иного исхода, начинает вызывать сомнения надежность модели при использовании ее в реальном времени. Особенно плохо все становится в тех случаях, когда целевое состояние- банкротство корпорации, тяжелое состояние больного или обнаружение при проверке багажа спрятанного оружия - является весьма редким событием. Для банкротств корпораций это - порядка одного процента случаев. В такой ситуации даже очень точные модели при использовании в реальном времени выдают огромное количество ложньгх тревог. Так, например, доля ошибок в 10% при условии, что 99% компаний выживут, означает, что на каждую правильную идентификацию будет выдаваться примерно 10 ложных тревог (ошибок 2-го рода). Более того, редко происходящие события имеют большой разброс (дисперсию). Поэтому доля компаний, обанкротившихся в течение года, сильно меняется от года к году, а для небольших выборок, которые обычно являются основой базы данных банка или финансовой компании, этот эффект выражен еще сильнее.

Таким образом, для того чтобы получить хороший тест, нужно, прежде всего, учитывать все эти свойства, а уже потом - известные итоги работы компаний или среднюю предрасположенность фирм к банкротству. В эксперименте, о котором говорилось выше, тестовая база данных включала в себя информацию за 1973-86 гг. по всем компаниям-производителям комплектующих для автомобилей, акции которых котируются на финансовом рынке Великобритании. Из 24 компаний, действовавших в течение первого года этого временного отрезка, до самого его конца просуществовали 17. Четыре из оставшихся семи компаний подверглись слиянию, будучи вполне платежеспособными. Еще две компании попали под процедуру формальной ликвидации, а последняя была подвергнута реорганизации и реструктуризации под правительственным контролем, что эквива-

лентно банкротству. Таким образом, требовалось объяснить 258 «событий», из которьгх банкротств было три.

Три банкрота из 24 составляют 12.5% , что очень близко к предложенной Таффлером [256], а также Альтманом и др. [12] априорной доле банкротств в 10%. В то же время три факта банкротства на 258 событий дают интенсивность банкротств примерно на уровне одного процента, и это согласуется с годовой интенсивностью банкротств, зафиксированной по результатам наблюдений Дуна и Брэд-стрита (1982).

РАЗРАБОТКА МОДЕЛИ

Модель Альтмана, которой мы пользовались, основывается на переменных и параметрах Z-модели 1968 года. У следующей версии модели - «Дзета» - были опубликованы только переменные, а параметры - нет. То же и для Z-шкалы Таффлера: переменные известны, а коэффициенты неизвестны, но могут быть приближенно восстановлены по опубликованным показателям шкалы. Наконец, шкала Datastream (прошлые показатели и данные по обанкротившимся компаниям были удалены из базы данных) приближалась с помощью переменной, которая, согласно публикации [257], сильно скор-релирована с Z модели Datastream.

В основу нейронной сети были положены семь входных переменных, базирующихся на показателях, входящих в Дзета-модель Альтмана. Поскольку банкротство - событие весьма редкое, а из компьютерной базы данных была исключена информация по обанкротившимся компаниям, мы не делали попыток обучить сеть на результат «банкротство/выживание». Вместо этого в качестве целевой переменной при обучении сети было взято состояние курса акций компании относительно общего индекса курсов акций. При этом мы исходили из того, что при ухудшении состояния дел компании ее акции падают в цене. Таким образом, выходной сигнал сети- не двоичный (0,1), а представляет собой переменную с непрерывно меняющимися значениями. Одновременно использовалась еще одна переменная, которая разделяла выход на банкротов и небанкротов таким образом, чтобы достигалась наилучшая относительная точность прогноза и относительная цена ошибок.

Для обучения сети были взяты данные по машиностроительным компаниям, акции которых котируются на фондовом рынке Великобритании. Обучающее множество состояло из данных по 20 компаниям за период времени с 1978 по 1986 гг. - всего 160 наблюдений. Модель представляла собой трехслойную сеть с семью входными элементами, соответствующими финансовым переменным. В скрытом слое было три элемента, и был также один выходной элемент.



Использовался метод обратного распространения ошибки с постепенным уменьшением коэффициента обучения по правилу Липма-на, и модель достигала сходимости после 2000 итераций (эпох), при этом квадратный корень из среднеквадратичной ошибки составил 6.2% от среднего отклонения доходов. > < ,»*У i й лп. > г :.

,i(;tuoi;"m5;r . jit. СРАВНЕНИЕ РЕЗУЛЬТАТОВ

Так как в реальной ситуации нельзя знать заранее, какая часть из компаний, представленньгх в случайной выборке, потерпит банкротство в течение года и поскольку авторы двух рассматриваемых моделей, как можно предположить, устанавливали разделяющие уровни, исходя из каких-то конкретных предположений об априорных вероятностях банкротства и цене ошибок, мы упростили процедуру сравнения и ввели относительные разделяющие уровни. Иначе говоря, для каждой модели мы считали сигналами о банкротстве нижние 10% сигналов, вьщаваемьгх моделью за очередной год. На деле такой подход означает общую 10-процентную априорную вероятность банкротства и такое отношение числа сигналов о банкротстве к реальным банкротствам в предыдущем тесте, которое определяется с помощью оптимизирующего порога. Кроме того, этот способ имеет то преимущество, что при этом минимизируются искажения, возникающие из-за большого разрыва во времени между публикацией «Z-счета» Альтмана и проведением эксперимента. Средние показатели за это время могли измениться, и поэтому разделение компаний на сильные и слабые, исходя из определенной пропорции, представляется более надежным. В табл. 9.2 приведены результаты эксперимента по прогнозированию банкротств на год вперед с указанием погрешности для каждой модели.

ZАльтмана

Аналог модели

Аналог модели Z

Нейронная

Z Таффлера

Datastream

сеть

Правильная

классификация

Выживание

Банкротство

i 0

Неправильная

классификация

Выживание

Банкротство

Таблица 9.2. Точность различных прогнозов банкротства

Результаты говорят о том, что предсказание банкротства - сложная задача. Из-за того, что нормы отчетности весьма растяжимы.

вполне может получиться так, что в какой-то год фирма рапортует о прибылях, а в следующем году она банкротится. Компании также могут потерпеть банкротство из-за мошенничества или банкротства основного потребителя, и поэтому добиться высокого уровня точности непросто. При всем этом нейронная сеть показала лучшие результаты, чем другие модели: она обнаружила два из трех надвигающихся банкротств и неправильно классифицировала жизнеспособные компании в пропорции 12 на один правильный прогноз банкротства. В количественном выражении это в два раза лучше, чем аналоги моделей Таффлера и Datastream, а Z Альтмана, вообще, оказалась не в состоянии выявить ни одного банкротства.

Отсюда следует тот вывод, что во всякой классификации банкротства главной является надежность, и что было бы ошибкой оценивать качество модели по выборочным критериям, которые, скорее всего, нельзя использовать для расчетов наперед (ех ante). В частности, в задаче прогнозирования банкротств корпораций нейронная сеть показала на настоящих ех ante-тестах такой же уровень точности, какой дают MDA-модели на гораздо менее требовательных ех p05t-npHMepax методом исключения одного наблюдения из выборки.

ИСПОЛЬЗОВАНИЕ В НЕЙРОННОЙ СЕТИ ПОНИЖЕННЫХ РАЗДЕЛЯЮЩИХ УРОВНЕЙ

Участвовавшие в сравнении MDA-методы были рассчитаны и оптимизированы, исходя из доли ложных сигналов 10:1 при некоторых априорных вероятностях и цене ошибок. Хотелось бы использовать в качестве ех ante критерия меньшее, чем 10-процентное, число потенциальных банкротов в популяции, но это плохо согласуется с параметрами моделей. Это также противоречит практике, когда снижение порога ниже 10-процентного уровня не приводило к банкротству. Так, когда доля ложных сигналов урезалась до 7%, Z-шкала Таффлера вообще переставала идентифицировать банкротства, а модель Datastream наталкивалась на это препятствие на отметке 8%. В противоположность этому нейронная сеть распознала два случая банкротства ниже разделяющего уровня в 4.5%, т.е. сеть способна работать в условиях, когда на одну правильную идентификацию банкротства приходится всего пять ложных сигналов. Этот показатель сравним с наилучшими результатами, которые получаются у MDA-моделей на гораздо менее требовательных тестах задним числом (ех post). Отсюда следуют два вывода: во-первых, нейронные модели представляют собой надежный метод классификации в кредитной сфере, и, во-вторых, использование при обучении в качестве целевой переменной цены акции может оказаться более выгодным, чем собственно показателя банкротство/выживание. В цене акций отражает-

[Старт] [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] [24] [25] [26] [27] [28] [29] [30] [31] [32] [33] [ 34 ] [35] [36] [37] [38] [39] [40] [41] [42]