УДК 004.896(06) Интеллектуальные системы и технологии А.Н. АВЕРКИН, М.А. КРИВОНОС Вычислительный центр им. А.А. Дородницына РАН, Москва НЕЙРОННЫЕ СЕТИ С ХАОТИЧЕСКИМИ НЕЙРОНАМИ Исследована динамика VSF-сети. VSF-сеть – модель нейронных сетей, которая сегментирует и фиксирует информацию полученную из внешнего мира. VSF-сеть – гибридная нейронная сеть, использующая хаотические нейроны в скрытом слое. VSF-сеть подвергает кластеризации информацию, кластеры которой, генерируются хаотическими нейронами в скрытом слое. В работе анализируется динамика генерации нейронного кластера, и исследуются факторы, затрагивающие порождение кластера, а также исследуется стабильность и колебания кластера нейронов и генерации кластеров. Описание сети. Одним из основных недостатков нейронных сетей является забывание результатов обучения при изменении обучающей выборки. В настоящей работе описывается сеть, которая не забывает свои предыдущие состояния – сеть VSF (Vibration Synchronizing Function Network). VSF-сеть генерирует подсети, используя группы нейронов, которые производят синхронные колебания в течение периода обучения. Мы называем группу нейронов кластером. Динамика кластера VSF-сети моделируется отображением GCM [1], являющимся примером CML – модели, которая описывает временное взаимодействие взаимосвязанных решеток. Поведение каждой i -той решетки xt в момент t выражено (1): xti1 1 f xti f x f x 2 i 1 t i 1 t (1) Поведение GCM определяется в зависимости от силы хаоса и корреляционной силы каждой ячейки. Ячейка выбывает из кластера, когда сила хаоса высока. С другой стороны, когда корреляционная сила среди ячеек усиливается, каждая ячейка имеет тенденцию оставаться в кластере. Если сила хаоса каждой ячейки постоянна, поведение кластера в GCM определяется в зависимости от значения начального состояния и корреляционного коэффициента каждой ячейки. Если корреляционные коэффициенты среди ячеек высоки, взаимные корреляции увеличатся. В результате кластер будет поддержан. Корреляции среди ячеек уменьшатся, когда корреляционные коэффициенты малы. Тогда различия выходов от ячеек растет и ячейка выпадает из кластера. Если вывод нейрона, корреляционная скорость модифицирования которого мала и приближается к нулю, то корреляционные коэффициенты не изменяется и существующий кластер остается поддержан. ISBN 5-7262-0633-9. НАУЧНАЯ СЕССИЯ МИФИ-2006. Том 3 1 УДК 004.896(06) Интеллектуальные системы и технологии VSF-сеть – нейронная сеть гибридного типа, составленная из многослойной нейронной сети и нейронной сети Хопфилда. Многослойная нейронная сеть обучается методом обратного распространения, а нейронная сеть Хопфилда обучается методом подобным самоорганизующейся карте. Первую назовем BP-модулем, а последнюю – LF-модулем. Хаотический нейрон введен в скрытый слой BP-модуля. Как результат, динамика нейронов скрытого слоя BP-модуля описывается GCM. Процедура обучения. VSF-сеть – нейронная сеть, реализующая дообучение. Предполагается, что некоторые знания уже были приобретены до обучения VSF-сети. Эти знания называют предзнаниями. Обучение VSF-сети выполняется согласно следующим процедурам: 1. Вводим образец во входной слой BP-модуля 2. Вводим образец во входной слой LF-модуля 3. Выполняется обучение LF-модуля на основе самоорганизующейся карты 4. Выход от скрытого слоя BP-модуля комбинируется с выходом нейронов LF-модуля, и значение используется как начальное состояние для скрытого слоя BP-модуля 5. Рекуррентная процедура, основанная на динамике, выполняется в течение некоторого периода (=t) 6. Вычисляется средний выход скрытого слоя в период колебаний. Этот средний выход устанавливается как выходное значение скрытого слоя. Остальная часть прямого хода выполняется на основе этого выходного значения 7. Вычисляется разница между выходом BP-модуля и сигналом учителя. Веса между слоями BP-модуля модифицируются согласно правилу дельта обобщения 8. Модифицируются силы взаимодействия между нейронами скрытого слоя. Программная реализация модели выполнена в среде Microsoft Visual Studio 7.0 на языке C#. Проведено сравнение с АРТ-сетью, которое показало более высокую скорость сходимости VSF-сети. Список литературы 1. K.Kaneko. Chaotic but regular posi-nega switch among coded attractors by cluster size variation. Phys. Rev. Lett., 1989. vol. 63. P. 219. 2. K.Kaneko. Period-coupling of kink-antikink patterns, quasi-periodicity in antiferrolike structure and spatial intermittency in coupled map lattice – toward a prelude to a field theory of chaos. Prog. Theor. Phys, 1984. vol. 72. P. 1112. ISBN 5-7262-0633-9. НАУЧНАЯ СЕССИЯ МИФИ-2006. Том 3 2