Модели ассоциативной памяти на нелинейно оптических

8К
УДК 004.048
Б.В. Крыжановский, Л.Б. Литинский
Институт оптико-нейронных технологий РАН, г. Москва



В статье дается обзор различных вариантов ассоциативной памяти, устроенной на принципах
частотно-фазовой модуляции. Ориентированная на обработку цветных изображений, данная
ассоциативная память обладает рекордными на сегодняшний день показателями по объему памяти,
помехоустойчивости и скорости работы.

В работах [1], [2] была предложена модель ассоциативной памяти, ориентированная на обработку и хранение информации, закодированной в виде частотно-фазовой модуляции. Одной из целей при этом было уйти от искусственной адаптации
оптической нейросети к амплитудно модулированным сигналам и максимально
использовать преимущества, связанные с возможностью передачи сигналов по оптическим межсвязям на q различных частотах  k , k  1,..., q . За основу сети был принят
параметрический нейрон – обладающий кубической нелинейностью элемент, способный к преобразованию и генерации квазимонохроматических импульсов в
процессах параметрического четырехволнового смешения  i   j   k   r [3].
Схематически такой нейрон можно представить себе как устройство, состоящее из
сумматора входных сигналов, набора q идеальных частотных фильтров k , блока
сравнения сигналов по амплитуде и q генераторов квазимонохроматических сигналов k . Работа одного нейрона осуществляется в следующей последовательности:
входные сигналы, пришедшие к нему от других нейронов сети, суммируются; суммарный сигнал пропускается через q параллельно соединенных частотных фильтров;
выходные сигналы с фильтров сравниваются по амплитуде; сигнал с максимальной
амплитудой инициирует генерацию нейроном выходного импульса, частота и фаза
которого совпадают с частотой и фазой инициирующего сигнала.
Отождествим параметрический нейрон с элементарным пикселем экрана, а
каждое из q его возможных состояний – с цветом, в который окрашен данный
пиксель. Тогда набор одновременных состояний всех N нейронов будет отвечать
какому-то цветному изображению на экране. Естественной областью приложения
модели является, таким образом, обработка и хранение цветных изображений.
Память сети локализована в межсвязях, где хранится информация о p паттернах – p наперед заданных цветных изображениях. Межсвязи между нейронами

Работа выполнена при поддержке РФФИ (проект 01-07-90134) и программы «Интеллектуальные
компьютерные системы» (проект 2.45).
480
«Искусственный интеллект» 4’2003
Модели ассоциативной памяти…
8К
устроены по обобщенному Хеббовскому правилу: (ij) я межсвязь определяется суперпозицией состояний i -го и j -го нейронов во всех p паттернах и ничем больше.
Такое устройство межсвязей очень удобно для приложений, поскольку позволяет
легко модифицировать межсвязи при добавлении новых паттернов.
Сигналы, которыми обмениваются нейроны, преобразуются в межсвязях в
процессах параметрического четырехволнового смешения. В результате сеть релаксирует из произвольного начального состояния в ближайшую неподвижную
точку. Чтобы вся система работала как ассоциативная память, необходимо, чтобы,
стартовав из начального состояния, являющегося искажением одного из паттернов, сеть релаксировала именно к этому паттерну. Естественно, хотелось бы,
чтобы области притяжения паттернов, определяющие допустимый в системе уровень искажений, были как можно больше.
Этого удалось добиться за счет выдвинутого в [1], [2] принципа несоизмеримости частот как непременного условия процессов параметрического четырехволнового смешения: никакая комбинация частот  i   j   k не может принадлежать набору { r }1q , если все три частоты различны.
Как оказалось, именно принцип несоизмеримости частот гарантирует высокую
степень подавления в системе внутренних шумов, что обеспечивает паттернам
большие области притяжения при емкости памяти, на порядки превосходящей
емкость памяти модели Хопфилда (см. ниже). Использование принципа несоизмеримости частот выделяет нашу модель из обширного класса осцилляторных
нейросетей [4], [5]. Добавим, что реализация принципа несоизмеримости «в железе»
означает специальную организацию оптической среды. И, хотя и представляет собой
непростую задачу, допускает принципиальное решение на уровне нано технологий.
Данная модель ассоциативной памяти получила название параметрической
нейронной сети (ПНС). В зависимости от способа реализации принципа
несоизмеримости (а их возможно несколько) возможны и различные варианты
ПНС. В [1], [2] был рассмотрен следующий вариант принципа несоизмеримости:
q
 i   j   k  { r }1 только когда j совпадает либо с k , либо с i. Соответствующая модель получила название ПНС-I. Позже был найден другой вариант
принципа несоизмеримости [6], обеспечивающий системе лучшие характеристики:
i – j + k  { r}q только когда j совпадает с k .
Этот вариант внутренней архитектуры сети лег в основу двух новых
вариантов модели – ПНС-II и ПНС-III (см. следующий раздел).
Дальнейшее исследование ПНС пошло по пути создания универсального
языка для описания модели. В [6], [7] удалось разработать матрично-векторный
формализм, адекватно передающий все заложенные в модель физические
принципы. Это позволило, с одной стороны, уяснить для себя связь ПНС с
векторными нейросетями [8], а с другой – ясно увидеть ресурс модели и построить
новые ее варианты, в том числе – с рекордными на сегодняшний день показателями
по емкости памяти и помехоустойчивости. Дальнейшее изложение будем вести на
языке векторного формализма, подразумевая при этом, что все построения могут
быть немедленно переведены на язык нелинейной оптики.
«Штучний інтелект» 4’2003
481
Крыжановский Б.В., Литинский Л.Б.
8К

1. Различные состояния параметрического нейрона будем описывать с помо
щью векторов-ортов ek (k  1, 2,..., q) q -мерного пространства R q ; размерность q
изображающего пространства определяется числом различных собственных частот

k параметрического нейрона. Вектор-состоянию ek будем приписывать еще и знак,
моделируя наличие у квазимонохроматических импульсов фазы 0 либо  . Таким


образом, состояние i-го нейрона описывается q-мерным вектор-столбцом xi  xi ek(i ) ,

где ek(i )  R q , i  1,2,..., N , а амплитуда xi принимает одно из двух значений: xi  1 .
Состояние сети как целого задается набором таких q -мерных векторов:
 

X  (x1 , x 2 ,..., x N ), а p паттернов – это какие-то p фиксированных наборов такого рода:
 

X   (x 1 , x  2 ,..., x N ),   1,.., p.
(1)
Локальное поле, действующее на i-й нейрон со стороны сети, тоже изобра
N

жается q -мерным вектором, h i   Tij x j , где межсвязи между i-м и j-м нейронами
j 1
суть ( q  q ) -матрицы Tij обобщенного Хеббовского типа:
p
 
Tij  (1   ij ) x i x  j

.
(2)
 1
Здесь x j – q -мерная вектор-строка. Такой выбор матриц межсвязей на языке
нелинейной оптики в точности отвечает второму варианту принципа несоизмеримости частот и обеспечивает более высокую, чем в ПНС-I, степень фильтрации
внутренних шумов на уровне передачи сигналов.
Динамика системы векторов-нейронов задается как обычно: i -й вектор
нейрон под действием локального поля h i , ориентируется вдоль направления, бли

жайшего к h i (ориентироваться в точности по направлению h i он не может, поскольку принимает только q дискретных значений). При q  1 ПНС переходит в

стандартную модель Хопфилда: векторы xi превращаются в обычные бинарные
переменные xi  1 , а все остальное в ПНС просто копирует модель Хопфилда.
Эволюция системы состоит в последовательном изменении состояний векторов-нейронов в соответствии с динамическим правилом. Можно показать, что со
временем сеть сойдется к неподвижной точке (являющейся локальным минимумом по энергии). Все математематические детали можно найти в [7], [9]. Перейдем
к изложению основных результатов относительно емкости памяти и помехоустойчивости ПНС-II.
Пусть имеем рандомизированный набор паттернов (1); иначе говоря, векторкоординаты паттернов (1) суть независимые случайные величины, с равными
вероятностями выбранные из набора возможных значений. И пусть начальное


 
состояние сети задается искаженным m-м паттерном X m  ( a1b1x m1 , a2 b2 x m 2 ,..., aN bN xmN ).

Здесь {ai } N и {bi }N – операторы мультипликативного шума: ai – независимые случайные величины, принимающие значения –1 и +1 с вероятностями a и 1  a соот
ветственно; bi – независимые случайные операторы, с вероятностью b меняющие

состояние вектора xmi на какое-то другое, а с вероятностью 1  b оставляющие его
482
«Искусственный интеллект» 4’2003
Модели ассоциативной памяти…
8К
неизменным. Иначе говоря, a  [0,1] характеризует имеющийся в системе уровень
шума по фазе, а b  [0,1] – уровень шума по частоте.

Для оценки вероятности распознавания сетью i -й координаты xmi m -го паттерна можно воспользоваться техникой больших уклонений Чебышева – Чернова [10]
(подробное изложение этой техники в применении к данному кругу задач дано
в [7], [9]). При N  1 получаем в качестве верхней оценки для вероятности
неправильного распознавания i -й координаты m -го паттерна:
 Nq 2

(i)
Prerr
 exp 
(1  2a) 2 (1  b) 2  .
2
p


(3)
При q  1 эта оценка совпадает с известным результатом для модели
Хопфилда [11] (шум по частоте в этом случае отсутствует: b  0 ). Однако самое
существенное свойство оценки (3) состоит в том, что вероятность неправильного
распознавания Prerr(i ) экспоненциально затухает с ростом q . Иными словами, с ростом q
помехозащищенность ПНС-II экспоненциально улучшается.
Аналогичная оценка для ПНС-I содержит в показателе экспоненты (3) вместо
q 2 множитель q3 / 2( q  1) . При q  1 ПНС-I по своим свойствам эквивалентна
известной Поттс-стекольной нейросети [12], для которой аналогичный множитель
в экспоненте равен q(q  1) / 2 .
Объем памяти нейросети можно определить, например, как число паттернов p ,
для которого вероятность неправильного распознавания (3) стремится к 0, когда
N   . (Для сравнения характеристик различных нейросетей достаточно и этого
определения объема памяти, хотя более корректным было бы потребовать, чтобы
сеть правильно распознавала все координаты паттерна или даже все координаты всех
паттернов. Получение соответствующих этим определениям оценок является,
однако, непростой задачей из-за корреляций между анализируемыми случайными
величинами; мы планируем посвятить этому вопросу отдельную публикацию.)
Емкость памяти традиционно измеряют отношением числа p к размеру сети N :
  p / N . Оценка (3) дает асимптотически достижимую емкость памяти ПНС-II:
 ПНС-II 
(1  2a)2 2
q (1  b)2 .
2
Мы видим, что одновременно с помехоустойчивостью растет и емкость памяти
ПНС-II, в q2 превосходя аналогичный показатель для модели Хопфилда и в 2 раза –
емкость памяти ПНС-I и Поттс-стекольной нейросети. Число паттернов теперь
может во много раз превышать число нейронов N – результат, не достижимый для
модели Хопфилда. Мы моделировали работу ПНС-II на компьютере. При числе
нейронов N = 100 и числе различных состояний q = 32 сеть надежно распознавала
любой из 200 паттернов, зашумленный не более чем на 90 % (b  0.9) . С увеличением
числа паттернов помехоустойчивость сети, естественно, уменьшалась: при p = 2000
(  = 20) сеть распознавала паттерны с искажениями до 65 %, а при p = 5000
(  = 50) – с искажениями до 50 %. Заметим, что и для таких предельно высоких
значений  помехоустойчивость сети можно улучшить, увеличив q до стандартного
для компьютерной обработки изображений значения q  256.
2. Особую проблему при реализации ПНС в виде устройства составляет необходимость следить за согласованностью фаз всех сигналов, приходящих к данному
нейрону по межсвязям (так называемый набег фазы, хорошо известный всем при-
«Штучний інтелект» 4’2003
483
Крыжановский Б.В., Литинский Л.Б.
8К
бористам). Попытки создания модели бесфазовой ПНС долгое время оставались
безуспешными из-за невозможности устранить нарастающую с ростом числа паттернов дисперсию шума. Проблема оказалась легко разрешимой в рамках векторного
формализма: выяснилось, что для подавления нежелательного нарастания дисперсии
достаточно слегка модифицировать матрицы межсвязей (2). А именно вместо




q
вектор-строки x j использовать аналогичную вектор-строку (x  j  e / q) , e   1 ek . На
языке нейронных сетей это означает использование вектор-порога в определении
динамического правила.
Данный вариант модели, получивший название ПНС-III, по помехоустойчивости и емкости памяти эквивалентен Поттс-стекольной нейросети, однако при реализации на компьютере работает в q раз быстрее. Несмотря на то, что
ПНС-III обладает в 2 раза меньшей, чем ПНС-II, емкостью памяти, возможность
абстрагироваться от фазы сигналов делает ПНС-III наиболее перспективной для
реализации модели в виде оптического устройства.
Разработанные модели и методы используются при создании компьютерносинтезированных голограмм в ближней зоне дифракции.

1.
Крыжановский Б.В., Микаэлян А.Л. О распознающей способности нейросети на нейронах с
параметрическим преобразованием частот // Докл. АН. – 2002. – Т. 383, № 3. – С. 318-321.
2. Fonarev A., Kryzhanovsky B.V. et al. Parametric Dynamic Neural Network Recognition
Power // Optical Memory & Neural Networks. – 2001. – Vol. 10, № 4. – Р. 211-218.
3. Bloembergen N. Nonlinear Optics. – 1966.
4. Hoppensteadt F.C., Izhikevich E.M. Oscillatory Neurocomputers with Dynamic Connectivity // Phys.
Rev. Lett. – 1999. – Vol. 82. – P. 2983.
5. Scarpetta S., Li Z., Hertz J. Oscillatory Neural Nets: Prepr. / Сond-mat/0111034, 2001.
6. Kryzhanovsky B.V., Litinskii L.B. Fonarev A. Optical Neural Network Based on the Parametrical
Four-wave Mixing Process // Proc. of ICONIP-2002. – Vol. 4. – Singapore. – 2002. – P. 1704-1707.
7. Крыжановский Б.В., Литинский Л.Б. Векторные модели ассоциативной памяти: Лекции по
нейроинформатике. – МИФИ, 2003. – Ч. I. – С. 72-85.
8. Nakamura Y., Torii K., Munaka T. Neural-Network Model Composed of Multidimential Spin
Neuron // Phys. Rev. E. – 1995. – Vol. 51. – P. 1538-1546.
9. Крыжановский Б.В., Микаэлян А.Л. Ассоциативная память, способная распознавать сильно
скоррелированные образы // Докл. АН. – 2003. – Т. 390, № 1. – С. 27-31.
10. Chernov N. Ann. Math. Statistics. – 1952. – Vol. 23. – P. 493-507.
11. Hertz J., Krogh A., Palmer R. Introduction to the Theory of Neural Computation. – Addison-Wesley, 1991.
12. Kanter I. Potts-Glass Models of Neural Networks // Physical Review A. – 1988. – Vol. 37 (7). –
P. 2739-2742.
A review of different variants of associative memory based on the phase-frequency modulations is given.
With regard of processing of colored images this type of the associative memory now has the best
characteristics of storage capacity, noise immunity and information display rate.
У статті подається огляд різних варіантів асоціативної пам`яті, улаштованої на принципах
частотно-фазової модуляції. Орієнтована на оброблення кольорових зображень, дана асоціативна
пам`ять характеризується рекордними на сьогодні показниками за об`ємом пам`яті,
перешкодостійкістю та швидкістю роботи.
Статья поступила в редакцию 20.08.03.
484
«Искусственный интеллект» 4’2003