Дифференциальное измерение эмоциональности текстов с

Дифференциальное измерение эмоциональности текстов с помощью
алгоритма PMI-IR
Анализ проявления человеческих эмоций в тексте — задача, расположенная на грани психологии и лингвистики, поскольку в тексте отражаются как объективные закономерности функционирования эмоций, так и закономерности проявления этих эмоций в речи. Помимо прояснения этих закономерностей, построение автоматических систем оценки эмоциональности, позволяет прояснить и механизмы восприятия эмоций в тексте. В данной работе мы исследовали возможность анализа эмоциональности текста с использованием алгоритма PMI­IR (Pointwise Mutual Information ­ Information Retrieval), суть которого заключается в вычислении степени близости слов, на основе частот их совместного и раздельного употребления, вычисляемых с помощью поисковых систем. Подобный алгоритм уже применялся для анализа эмоциональности текста, начиная с работы (Turney, 2002), однако, помимо того, что предыдущие работы были проделаны в основном на англоязычных текстах, наиболее часто исследования направлены на оценку валентности (положительной или отрицательной эмоциональной окраски) текста и/или его категоризацию. Однако, результаты сравнения различных подходов к анализу эмоциональности текстов на конференции SemEval­2007 (Strapparava&Mihalcea, 2007) показывают, что системы с примерно одинаковой точностью определяющие категорию для текста, могут показывать значительные различия в эффективности при использовании интервальных шкал. Валентность же текста сама по себе интересна разве что при оценке предпочтений, поскольку неоднократно было показано, что различные негативные и позитивные эмоции могут оказывать разное влияние на поведение (например, Lerner&Keltner, 2001). Алгоритм PMI­IR, разумеется, не является единственным, но у него есть ряд важных преимуществ. Прежде всего, он не требует предварительной оценки текстов экспертами и его результаты не являются зависимыми от области применения. Кроме того, за счет использования поисковых машин этот метод позволяет вычислять степень близости слов на огромных корпусах текстов. Данное исследование проводилось в два этапа. На первом этапе была разработана программа, использующая модифицированный алгоритм PMI­IR, и было проведено ее «обучение». Шкалы для оценки эмоций строились исходя из методики «дифференциальные шкалы эмоций», ДШЭ (Изард, 1999). На основе этой шкалы было выбрано по два слова на каждую из 10 эмоций (например «гнев» и «злость» для эмоции гнева). Материалом для «обучения» послужили записи в дневниках русскоязычного сектора Livejournal (www.livejournal.com), поскольку они в большой степени эквиваленты взаимодействию «лицом­к­лицу» (Сафонова, 2006). На первом этапе с помощью специально написанной программы (с легкой руки программиста она получила название ЭСКА, Эмоциональное Содержание, Контент­Анализ) было проанализировано 400 выбранных случайным образом записей (в среднем по 86 слов на запись), из которых было выделено около 11000 уникальных слов. Далее с использованием поисковой системы Яндекс для этих слов были рассчитаны частота употребления и значения PMI­IR по 10 шкалам. Для расчета PMI­IR использовалась модификация формулы, предложенной (Turney, 2001).
На втором этапе было проведено сравнение эффективности ее работы с работой экспертов и других систем. В качестве материала для тестирования были случайным образом выбраны 70 сообщений из Livejournal, так, чтобы их длина не превышала 250 слов (это требование связано с тем, что эмоции в больших текстах могут зачастую меняются несколько раз), и чтобы они представляли собой именно авторские тексты. Эти тексты были оценены четырьмя экспертами по 11 шкалам, десять шкал представляли собой однонаправленный семантический дифференциал, составленный из прилагательных ДШЭ (от 0 до 10, шаг 0.1), 11ая — валентность текста (от ­5 до +5, шаг 0.1). При оценке записей с помощью ЭСКА, значения PMI­IR по всем шкалам и частоты слов были переведены в стены. Слова с отрицаниями и слишком высоко­ или низкочастотные (частота по стенам больше 7 или меньше 3) отбрасывались. Поскольку в данном исследовании мы не задавали для ЭСКА шкалы валентности, она была рассчитана, исходя из теории Изарда, как отношение средней оценки по шкалам радости, интереса и удивления, и средней оценки по остальным шкалам. Для сравнения результатов экспертов и ЭСКА была применена описанная в (Strapparava&Mihalcea, 2007) процедура: для каждого эксперта по каждой шкале подсчитывался коэффициент корреляции Пирсона между его оценками и усредненными оценками других экспертов, затем рассчитывалось среднее между полученными коэффициентами. Таким же образом рассчитывались коэффициенты корреляции между ЭСКА и экспертами. В итоге, коэффициенты корреляции между экспертами и ЭСКА находились в пределах от 0,21 (страх) до 0,39 (валентность), за исключением шкал интереса (0,01) и стыда (0,08), при коэффициентах корреляции между экспертами от 0,41 (стыд) до 0,84 (валентность). Сравнение полученных нами результатов с результатами в работе (Strapparava&Mihalcea, 2007) показывает, что выбранный нами подход с использованием нескольких слов для построения шкалы и ограничением по частотности слов более соответствует экспертной оценке, нежели применявшееся в работах с использованием PMI­IR до этого. Кроме того, по шкалам «удивление», «гнев» и «отвращение» полученные результаты выше, чем при применении других методов. Без сомнения алгоритм PMI­IR ограничен анализом только «языка описания эмоций», частично затрагивая «язык выражения эмоций» и никак не затрагивая «язык отражения эмоций» (Пиотровская, 2008), однако, как показывает проведенное нами исследование, его возможности достаточно велики.