Модель распознавания и формирования эмоциональных

Модель распознавания и формирования эмоциональных реакций
УДК 004.93
И.А. Васильев
МОДЕЛЬ РАСПОЗНАВАНИЯ И ФОРМИРОВАНИЯ
ЭМОЦИОНАЛЬНЫХ РЕАКЦИЙ ДЛЯ СИСТЕМ УПРАВЛЕНИЯ
ВИРТУАЛЬНЫМИ АГЕНТАМИ
Иван Андреевич Васильев, аспирант
Санкт-Петербургский государственный университет телекоммуникаций имени проф. М. А. Бонч-Бруевича
Россия, Санкт-Петербург
Тел.: (8911)731-1970, E-mail: ivan.3dgraphic@mail.ru
Аннотация
В работе рассматриваются современные системы распознавания эмоций. Предлагается описание системы эмоций, на основании которого строится формальная модельпредставления эмоций, включающая блоки распознавания и формирования эмоциональных реакций виртуальных агентов.
Ключевые слова: компьютерный, виртуальный агент, распознавание
эмоций, модель эмоций.
I.A.Vasiliev
MODEL RECOGNITION AND FORMATION OF EMOTIONAL
REACTIONS TO CONTROL VIRTUAL AGENT SYSTEMS
Ivan A.Vasiliev, the Bonch-Bruevich St.Petersburg State University
of Telecommunications, Russia, e-mail: ivan.3dgraphic@mail.ru
Abstract
The paper reviews current system of recognition of emotions. A description
of emotions, which is built on the basis of a formal model of representation of
emotions, including the recognition unit and the formation of emotional responses of virtual agents.
Key words: computer, virtual agent, recognition of emotions, a model of
emotion.
585
И.А. Васильев
Введение
Широкое внедрение компьютерной техники сформировало инфокоммуникационную среду, которая стала неотъемлемой частью жизнедеятельности человека, но в активном развитии этой среды есть свои положительные и отрицательные аспекты влияния на поведение человека.
Время, которое человек проводит за компьютером увеличивается,
стираются границы между рабочим и личным временем, реальным и виртуальным пространством. Возрастают когнитивные нагрузки, что приводит к возникновению отрицательных психологических и физиологических
проблем. Негативные эмоции у человека накапливаются, что может приводить к срывам в его поведении. Эти срывы в свою очередь приводят к принятию неправильных решений, за которые, приходится расплачиваться, в
том числе и человеческими жизнями.
Возрастает актуальность создания эффективных средств взаимодействия между устройством и человеком, когда компьютер предстает в роли
активного помощника, виртуального агента. Эти средства должны учитывать процесс эмоциональной адаптации человека, иметь возможность распознавания эмоций, определения адекватных способов реагирования на
них и формирования эмоциональных реакций, направленных на снижение
уровня негативных влияний.
Современные системы распознавания эмоций
Эмоции играют одну из ключевых ролей, как в межличностных отношениях, так и в человеко-компьютерном взаимодействии. Системы распознавания эмоций определяют новое направление в решении многих важных задач. В качестве примера можно привести следующие: контроль
эмоциональных состояний в условиях повышенного риска; повышение качества систем биометрического детектирования;анализ состояния здоровья
по эмоциональным реакциям; наделение виртуальных агентов механизмом
определения и распознавания эмоциональных реакций, что в свою очередь
позволит определить новую модель поведения и сделает их более человечными.
С момента появления первых персональных компьютеров и до настоящего времени не теряет актуальности проблема создания эффективных
средств взаимодействия между устройством и человеком.
Компьютерные интерфейсы должны быть ориентированы, в первую
очередь, на возможности человека [7], на его стремление межличностного
взаимодействия, а компьютер предстает в роли активного помощника,
виртуального агента, ведущего с пользователем естественный диалог.
В настоящее время существует множество систем реализующих подобный подход в качестве примера можно привести виртуальных агентов,
586
Модель распознавания и формирования эмоциональных реакций
разрабатываемых Guile 3D Studio[12]. Стоит отметить, что реализация
эмоциональных реакций в этих моделях слабо прорабатывается и ориентирована на шаблоны.
Первые опыты использования распознавания эмоций в системах
управления техникой начались в 1995 году с работы Rosalind W. Picard
«AffectiveComputing»[10]. Один из первых проектов реализованных группой использовал эмоциональные реакции человека как средство управления персонажами игры (AffQuake)[13]. Реализован был проект, известный
как Affdex, в котором собираются и анализируются данные об эмоциональных состояниях людей в сети интернет. Анализ проводился с помощью видеоданных. Достаточно часто применяются системы оптического
распознавания. В общем случае принципом работы практически всех таких
систем является выделение мимических реакций и анализ пространственных отношений. Большой популярностью пользуется модель активных
контуров (ActiveShapeModel)[6].
Проблемой эмоций занимались многие известные психологи и физиологи: Ч. Дарвин, 3. Фрейд, Г. Спенсер, Д. Линдсли, У. Джеймс, К. Ланге,
У. Кэннон, Ф. Бард, Л. Фестингер, К. Додонов, А.Н Леонтьев, И.В. Симонов, Е.П. Ильин, И.Б. Фоминых и др. Тем не менее, до сих пор нет общепринятого определения понятия эмоций, а также и общепринятой классификации эмоциональных реакций.
Из существующих теорий можно выделить ряд положений важных
для моделирования эмоций.
Эмоции, рассматриваются как определенная подсистема человека, которая имеет качества присущие самоорганизующимся системам: динамика,
открытость, неравновесность. Подобные системы подчиняются определенным правилам эволюции, для описания которых используется дарвиновская триада: наследственность, изменчивость, отбор. Появляясь на свет,
человек уже обладает некоторой базовой системой эмоций, на что указывал Чарльз Дарвин в труде «Выражение эмоций у человека и животных»;
здесь же он предположил связь между рефлекторными действиями и эмоциями. Помимо Дарвина И.М. Сеченов в статье «Рефлексы головного мозга»[4] утверждает тезис о том, что все внешние проявления мозговой деятельности могут быть сведены на мышечное движение.
Современная нейрофизиология определяет положение центра эмоционального реагирования в лимбической системе. Лимбическая система,
обрабатывая информацию, поступающую с различных органов чувств, запускает вегетативные и соматические процессы, обеспечивающие адекватную реакцию организма на внешние раздражители. Для выживания в определенных ситуациях организм должен работать на пределе своих возможностей, эмоции позволяют контролировать этот процесс, активируя
определенные шаблоны поведения. В результате срабатывания подобных
шаблонов в организме происходят разнообразные внутренние процессы:
587
И.А. Васильев
выделяются различные гормоны, усиливается работа органов чувств, происходят изменения в работе сердечной мышцы, дыхательной системы,
мышечной системы. Все эти процессы находят свое отражение во внешних
реакциях человека. Эмоции создают мотивацию и прочное закрепление в
памяти образов важных для выживания, что способствует быстрому выбору шаблона поведения в некоторой подобной ситуации.
Многие представленные моменты лучшим образом выражаются через
когнитивную теорию эмоций. Здесь стоит отметить несколько ключевых
моментов. Как отмечает М. Б. Арнольд: для эмоции характерны интуитивные отношения пользы/вреда[5]. Р. Лазарус выделяет в составе эмоции
первичную и вторичную оценку. Первичная – это оценка ситуации, вторичная – оценка субъектом своегособственного отношения к этой ситуации [8,9].С.Л. Рубинштейн указывал на то, что эмоции выражают состояние субъекта и его отношение к окружающему [3].
Эти положения целесообразно использовать при построении моделей
представления эмоций и моделей поведения виртуальных агентов, через
распознавание и формирование эмоциональных реакций.
Формальная модель представления эмоций
При построении формальной модели представления эмоций процессы
распознавания и активации эмоциональных реакций рассматриваются
взаимосвязано в едином пространстве, подобно тому, как это осуществляется в мозгу человека. В литературных источниках [2,10,11] представлены
модели с аналогичным подходом, однако в этих работах авторы не выделяют необходимость представления четкой связи между восприятием и
эмоцией.
Для последующего описания модели эмоций необходимо ввести несколько определений.
Ощущение – сенсорная информация, представленная одним органом
чувств.
Образ – совокупность сенсорной информации, представленной различными источниками, формирующей целостное представление о предмете.
Представление – предыдущий эмоционально подкрепленный опыт
взаимодействия с предметом.
Эмоциональное напряжение – количественная мера эмоциональной
активности, характеризующая активационную способность организма противодействовать внешним негативным факторам; выражается через вегетативные реакции, происходящие на почве эмоциональных всплесков.
Эмоциональный всплеск – состояние повышенной эмоциональной
активности, отвечающее изменениям внешней среды или внутренним процессам осмысления ситуаций.
588
Модель распознавания и формирования эмоциональных реакций
Эмоциональный тон – характеристика эмоций, определяющая оценочное восприятие события. Различают два вида эмоций по эмоциональному тону: положительные и отрицательные.
На основании анализа существующих в психологии концепций (в основном это когнитивные теории эмоций),процесс формирования человеческих эмоций, описывается следующим образом.
Первый этап – информация, поступающая от органов чувств, формирует чувственный образ объективной действительности в лимбической
системе. Вторым этапом является первичное опознание образа. Если в
процессе первичного опознания объект не проявил себя в сравнении с предыдущими представлениями, происходит актуализация данного образа
(объект становиться интересен1 для изучения), происходит переключение
внимания на новый объект. Выделяется нейромедиатор подкрепления.
Эмоция интереса будет действовать до тех пор, пока нейромедиатор не
растворится. Далее происходит вторичная оценка. В процессе вторичной
оценки определяется степень важности предмета в текущей ситуации для
человека, а также оценка ресурсов, которые он может потратить на исследования, то есть оценка уровня затрат [2] и вероятность достижения цели.
Разница между «желанным» и «возможным» определяет уровень эмоциональной напряженности ситуации. В момент эмоционального напряжения
могут протекать различные эмоции в зависимости от конкретной ситуации
и, соответственно, происходить различные двигательные реакции. В процессе вторичной оценки мозг строит шаблоны действий на основании предыдущего опыта. Каждый такой шаблон, своего рода внутренний образ событий, пропускается через цикл вторичной обработки и ему дается положительный или отрицательный эмоциональный отклик. Каждый подобный
отклик либо увеличивает, либо уменьшает эмоциональное напряжение в
зависимости от знака. Эмоциональная переработка информации основана
на чисто количественном подходе. Положительные эмоции снижают отрицательное напряжение и наоборот. Эмоции в подобной схеме ответственны за выбор из множества шаблонов поведения, а также за последующее
сохранение образа. Каждый шаблон в результате обработки попадает
центр шаблонных реакций, где размещается в зависимости от возможной
выгоды. Если ситуация не очевидна, уровень эмоциональной напряженности будет расти, пока не достигнет критического уровня, в результате происходит спонтанный выбор из множества подготовленных шаблонов.
Основные блоки формальной модели, соответствующей предложенному описанию системы эмоций, представлены на рисунке 1.
1
Интерес по классификации К.Э.Изарда относиться к базовым эмоциям[1,c.105]
589
И.А. Васильев
Рис. 1. Формальная модель распознавания и активации шаблонов поведения
Рассмотрим логику работы некоторых блоков схемы, представленных
на рис. 1.
1. Чувственный образ – представляет собой информацию, которая поступает с фильтров первичной обработки. Вид информации, концептуально, не должен сказываться на характере работы схемы, здесь может применяться как графическая, так и аудиальная информация.
590
Модель распознавания и формирования эмоциональных реакций
2. Фильтр блокировки – уменьшает количество информации поступающей в систему, пока выполняется цикл вторичной обработки. Этот
фильтр реализует простую схему внимания. Фильтр работает тогда, когда
есть эмоциональная напряженность. Задачей фильтра является снижение
уровня эмоциональной нагрузки в момент поиска решений для текущей
ситуации.
3. Блок анализа образа осуществляет сравнение текущего образа с образами, закрепленными в ходе предыдущего опыта. Первичный уровень
обработки - образы получившие максимум эмоционального напряжения в
момент формирования. Здесь могут использоваться различные классификаторы, в качестве примера можно обозначить нейронные сети.
4. Блок эмоционального напряжения представлен сумматором, определяющим эмоциональное напряжение. Здесь происходи постепенное накопление данных эмоционального напряжения, которые мы получаем с
предыдущего образа. Задача – увеличение энтропии поведения.
5. Блок выбора шаблона поведения представляет собой стохастическую модель. Выбор определяется через модель представления данных
(рис. 2). Неравномерность выбора шаблонной реакции определяет сила
эмоционального напряжения, что позволяет определять новые формы поведения.
Рис. 2. Модель представления данных
Эмоция в обозначенном представлении, в отличие от принятых моделей,
определяется не на прямую, с помощью классификатора, а через двумерную модель, в которой отражены две составляющие эмоционального процесса: эмоциональное напряжение и эмоциональный тон.
6. Память хранит шаблоны поведения.Шаблоны размешаются в памяти в определенном порядке. Наибольший приоритет получают базовые
591
И.А. Васильев
эмоциональные реакции. Далее идут реакции, полученные в ходе естественного опыта. Каждый шаблон реализует в себе некоторую стратегию поведения, например: стратегия избегания опасности; стратегиюоправданного риска.
7. Блок анализа определяет несколько моделей развития событий текущей ситуации. Каждый шаблон мысленного моделированиятакже пропускается через цикл первичной обработки, где определяется выгода или
потери при выбранной стратегии поведения.Из всех возможных стратегий
выбирается наиболее выигрышная. Простейший способ реализации этого
блока в виде алгоритма поиска пути, где агент будет оценивать различные
варианты и в конечном итоге выберет путь сулящий большее эмоциональное подкрепление.
8. Когда ситуация разрешается образ о текущем событии сохраняется
в карте подкрепленных шаблонов. Продолжительность хранения, а также
положение в иерархии образов зависит от эмоциональной напряженности,
которая сопутствовала событию.
Система распознавания
Здесь в общем виде представлены наиболее важные этапы построения
описанной модели. Распознавание осуществляется с помощью блоков 3 и
4. Эмоции - динамический процесс, поэтому необходимо определить способ поиска динамики в кадре. Наиболее быстрый способ оценки движения
выполняется
с
применением
межкадровой
разности:
, где – маска движения в момент
t,
– изображение в текущий момент времени,
– изображение в предыдущий момент. Следующим этапом является бинаризация. После бинаризации, зачастую, необходимо проводить чистку материала от шумов. Для этого нужно выполнить некоторые морфологические
операции,
например
операции
открытия
, где B – бинарный структурирующий
элемент, – пиксель структурирующего элемента,
– результирующий растр. Ищем связность в полученном растре волновым методом,
определяем область интереса. Проводим обработку в полученном окне над
. Определяем ключевые точки и рассчитаем в них значение банка
фильтров Габора
фильтра,
,
где
,
.
Получаем jet’ы контрольных точек.
592
- ядро
,
Модель распознавания и формирования эмоциональных реакций
В качестве классификатора воспользуемся нейронной сетью с двумя
скрытыми слоями и сигмоидальной функцией активации.
. Обучение проводим на выборке изображений базовых эмоций. Каждая базовая эмоция заранее определена на модели эмоций
в следующем виде
, где
– некоторые константы определяющие эмоциональное напряжение и знак базовых эмоций. Классификатор позволяет получить знак эмоций как степень соответствия текущей мимической реакции шаблону, по которому проводилось обучение.
Величина эмоционального напряжения в схеме распознавании определяется как
, где N - заданное количество кадров; базовые
эмоции обладают начальным уровнем . Процесс выбора шаблона реакции может быть описан Марковской моделью управляемой .
Заключение
В настоящей статье представлена формальная модель эмоций, основанная на некоторых важных аспектах отраженных в когнитивной теории
эмоций.
Эмоция в представленной модели, в отличие от известных, определяется не с помощью классификатора, а через двумерную модель, в которой
введены две составляющие эмоционального процесса: эмоциональное напряжение и эмоциональный тон. Предполагается, что подобное представление позволит формировать адекватный ответ компьютерного агента на
некоторые действия пользователя.
При построении формальной модели представления эмоций процессы
распознавания, формирования и активации эмоциональных реакций рассматриваются взаимосвязано в едином пространстве.
Представлен пример возможной реализации алгоритма рассматриваемой модели.
СПИСОК ЛИТЕРАТУРЫ
1. Изард К.Э. Психология эмоций.– СПб.: Мастера Психологии, Питер,
2007.
2. Леонтьев В.О., Аккредо А.К. Формулы эмоций // Доклад на ХI конференции по искусственному
интеллекту,
2008.,URL:
http://www.raai.org/cai-08/files/cai-08_paper_165.doc
3. Рубинштейн С.Л. Основы общей психологии. – СПб: Питер, 2000.
4. Сеченов И.М. Рефлексы головного мозга. // В кн.: Сеченов И.М., Павлов И.П., Введенский Н.Е. Физиология нервной системы. Избранные
труды. Выпуск 1. Под общей редакцией академика К.М. Быкова.
593
И.А. Васильев
5. Arnold, M.B. Emotion and Personality. – New York: Columbia University
Press, 1960.
6. Cootes T.F., Taylor C.J., Cooper D.H., Graham J. Active shape models—
their training and application // Computer Vision and Image Understanding. 1995. –Vol. 61 1. –P. 38–59.
7. J.L. Flanagan and T. S. Huang, 1997// NSF Workshop on human-centered
systems: information, interactivity, and
intelligence,
URL:
http://www.ifp.uiuc.edu/nsfhcs/
8. Lazarus, R.S. Emotion and Adaptation. // In: J. Jenkins, K. Oatley, N. Stein
(Eds.). Human Emotions. A Reader. – Malden, MA: Blackwell Publishers,
1998. – P. 38-44.
9. Lazarus, R.S. Progress on a Cognitive-Relational-Motivational Theory of
Emotion. //American Psychologist, 1991. – V. 46 (8). – P. 819-834.
10. R. W. Picard / Affective Computing /MIT Media Laboratory; Perceptual
Computing;
Cambridge,
picard@media.mit.edu,
URL: http://www.media.mit.edu/~picard/
11. Steunebrink, B.R., Dastani, M.M. & Meyer, J-J.Ch. (2008). A Formal
Model of Emotions: Integrating Qualitative and Quantitative Aspects. In G.
Mali, C.D. Spyropoulos, N. Fakotakis& N. Avouris (Eds.), Proc. 18th European Conference on Artificial Intelligence (ECAI’08) (pp. 256—260).
Greece/Amsterdam: Patras / IOS Press
12. Guile 3D Studio. URL: https://guile3d.com/en/guile-3d/
13. AffQuake . URL: http://affect.media.mit.edu/projects.php?id=180
594