обучающие векторы

направлеии5 движения состояния сети

бласти притяжения

аттракторы - пустые классы

Рисунок 8. Пространство состояний сети с пустыми классами.

Аттракторы, являющиеся центрами притяжения состояний, относящихся к пустым классам, предоставляют нам совершенно новую информацию. Действительно, они предсказывают существование новых классов объектов, которые не имеют своих представителей в полученных сетью сообщениях.

Известным примером такой предсказательной категоризации является периодическая система элементов Менделеева, в которой изначально были определены три пустые клетки для впоследствии обнаруженных новых химических элементов. Итак, минимизирующие энергию нейронные сети типа сети Хопфилда могут использоваться для предсказания существования новых классов объектов.

Анапиз голосований

В качестве иллюстрации приведем результаты кластеризации данных по голосованиям в ООН в 1969-1970гг. В данном примере анализировались голосования по 14 резолюциям для 19 стран. Сеть, производившая кластеризацию стран по степени схожести их голосований, состоит из Л = 14 нейронов, состояния которых представляют картину голосования одного из участников по отобранным 14 резолюциям {да и нет соотносились с бинарными состояниями нейронов). Этой сети предъявлялись результаты голосований 19 стран - членов ООН, которые сформировали матрицу связей сети по правилу Хебба. Результаты категоризации входных векторов (а тем самым - и соответствующих стран), этой нейронной приведены в таблице:

Таблица 1. Кластеризация результатов голосований в ООН

Все используемые при обучении страны разделились на три легко интерпретируемых класса (условно: "капиталистические", "неприсоединившиеся" и "социалистические"), то есть кодирующие их голосования векторы-состояния эволюционируют к одному из трех стационарных состояний (локально наилучших версий прототипа "страна - член ООН"). Хэммингово расстояние от соответствующих состояний до притягивающих их аттракгоров приведено в колонках "ранг".

У сети, однако, имеется и четвертое стационарное состояние, не притягивающее ни один из 19 образов, используемых при построении матрицы связей сети. Это состояние может рассматриваться как описывающее совершенно новую группу стран, в которую не входят ни одна из рассматриваемых. Мы можем описать эту группу, изучив вид соответствующего аттрактора - центра пустого четвертого класса. Действительно, такое изучение легко выявляет тот факт, что представители этого нового класса должны были бы иметь по сравнению с учтенными странами совершенно особое мнение при голосовании по корейскому вопросу. Учитывая то, что ни Южная, ни Северная Корея до сих пор не представлены в ООН, интерпретация этого класса является прозрачной. Очевидно, что подобный подход может использоваться при анализе экономических, социологических, демографических и других данных, в частности он может использоваться для поиска новых потенциальных и свободных мест на рынках, в политическом спектре и пр.

ЛИТЕРАТУРА

Crick, F. & Mitchison G. (1983). "The function of dream sleep". Nature, 304, 111.

Diderich, S. & Opper, М. (1987) "Learning of Correlated Patterns in Spin-Glass Networks by Local Learning Rules". Phys.Rev.Lett., 58, 949.

Ezhov, A.,A., Kalambet, Yu.,A. & Knizhnikova, L.A (1990) "Neural networks: general properties and particular applications". In: A.Holden & V.Kryukov (Eds.) Neural Networks - Theory and Architecture, Manchester, Manchester University Press, 39.

Ezhov, A.,A.. (1994) "Empty classes, predictive and clustering thinking networks". Neural Network World 4, 671.

Ezhov,A,A. & Vvedensky V.L. (1997) "Object generation with neural networks (when spurious memories are useful)". Neural Networks, 9,1491.

Hassoun M.H. ed; Associative Neural Memories: Theory and Implementation. Oxford, 1995.

Hopfield, J.,J. (1982a) "Neural Networks and Physical Systems with Emergent Collective Computational Abilities", Proc.Natl.Acad.Sd. USA, 79, 2554.

Hopfield, J.,J. (1982b) "Neurons with Graded Response Have Collective Computational Properties Like Those of Two-State Neurons", Proc.Natl.Acad.Sd. USA, 81, 3088.

Hopfield, J.,J., Feinstein, D.,1., & Palmer, R.G. (1983) "Unlearning has a stabilizing effect in collective memories". Nature, 304,158.

Kinzel, W. (1985) "Learning and pattern recognition in spin glass models". Z. Phys. B. Condensed Matter, 60, 205.

Kohonen, T. Self-organization and Associative Memory. Springer-Verlag, 1989.

Muller, В., Reinhardt, J, & Strikland M.,T. (1995) Neural Networks. An Introduction. 2nd edition. Springer.

Vedenov, A.,A., Ezhov, A.,A., Kamchatnov, A.,M., Knizhnikova, L.,A., & Levchenko, E.,B. (1990) "Neural networks: general properties and particular applications". In: AHolden & V.Kryukov (Eds.) Neural Networks - Theory and Architecture, Manchester, Manchester University Press, 169.