DOCX, 55 Кб - Высшая школа экономики

Национальный исследовательский университет «Высшая школа экономики»
для направления 035800.62 Фундаментальная и прикладная лингвистика
подготовки бакалавра
Правительство Российской Федерации
Федеральное государственное автономное образовательное учреждение
высшего профессионального образования
"Национальный исследовательский университет
"Высшая школа экономики"
Факультет филологии
Программа дисциплины Компьютерная лингвистика
для направления 035800.62 Фундаментальная и прикладная лингвистика
подготовки бакалавра
Авторы программы:
Бонч-Осмоловская А.А., к.ф.н, abonch@gmail.com
Толдова С.Ю., к.ф.н, toldova@yandex.ru
Одобрена на заседании кафедры [Введите название кафедры] «___»____________ 20 г
Зав. кафедрой [Введите И.О. Фамилия]
Рекомендована секцией УМС [Введите название секции УМС] «___»____________ 20 г
Председатель [Введите И.О. Фамилия]
Утверждена УС факультета [Введите название факультета] «___»_____________20 г.
Ученый секретарь [Введите И.О. Фамилия] ________________________ [подпись]
Москва, 2014
Настоящая программа не может быть использована другими подразделениями университета и другими вузами без разрешения кафедры-разработчика программы.
Национальный исследовательский университет «Высшая школа экономики»
для направления 035800.62 Фундаментальная и прикладная лингвистика
подготовки бакалавра
1
Область применения и нормативные ссылки
Настоящая программа учебной дисциплины устанавливает минимальные требования к
знаниям и умениям студента и определяет содержание и виды учебных занятий и отчетности.
Программа предназначена для преподавателей, ведущих данную дисциплину, учебных
ассистентов и студентов для направления 035800.62 Фундаментальная и прикладная лингвистика подготовки бакалавра изучающих дисциплину Компьютерная лингвистика.
Программа разработана в соответствии с:
o Образовательным стандартом государственного образовательного бюджетного учреждения высшего профессионального образования Высшей
школы экономики, в отношении которого установлена категория «национальный исследовательский университет» (ГОБУ ВПО НИУ-ВШЭ) протокол от 02.07.2010
o Образовательной программой направления «Фундаментальная и прикладная лингвистика» подготовки бакалавра;
o Рабочим учебным планом НФ НИУ-ВШЭ на 2014/2015 по направлению
подготовки «Фундаментальная и прикладная лингвистика», утвержденным в 2014 году.
2
Цели освоения дисциплины
Целями освоения дисциплины «Компьютерная лингвистика» являются знакомство с основными проблемами в области компьютерной лингвистики, базовыми алгоритмами, основными инструментами и технологиями в области автоматической обработки естественного языка.
Курс закладывает теоретическую и практическую базу для разработки и тестирования различных модулей автоматического лингвистического анализа, автоматической обработки текста при
разработке и тестировании различных модулей автоматической обработки текстов
3
Компетенции обучающегося, формируемые в результате освоения дисциплины
В результате освоения дисциплины студент должен:
Знать
 основные математические модели, используемые в автоматическом семантическом анализе;
o основные частотные характеристики языковых выражений, используемые
в задачах автоматической обработки текста;
o основные подходы к выделению тематически значимых элементов текста
(ключевых слов) и терминов предметной области;
o основные методы выделения устойчивых словосочетаний (коллокаций); их
слабые и сильные стороны;
o основные подходы к автоматическому разрешению семантической неоднозначности;
 принципы оценки качества таких систем.




Уметь
создавать модули автоматического выделения ключевых слов;
вычислять различные коллокационные меры;
создавать корпуса для тестирования различных методов семантической неоднозначности;
использовать соответствующие модули в различных приложениях.
Иметь навыки (приобрести опыт)
Национальный исследовательский университет «Высшая школа экономики»
для направления 035800.62 Фундаментальная и прикладная лингвистика
подготовки бакалавра

разработки модуля автоматического выделения ключевых слов и выражений в тексте

работы с инструментами и методами выделения устойчивых словосочетаний

работы с модулями разрешения семантической неоднозначности
В результате освоения дисциплины студент осваивает следующие компетенции:
Компетенция
Способен планировать
научно-исследовательскую
деятельность, проводить
самостоятельные
исследования и получать
новые научные
результаты в области профессиональной
деятельности
Код по Дескрипторы – основные признаки
ФГОС/ освоения (показатели достижения
НИУ
результата)
ПК-1
понимает постановку задачи в
области статистических методов автоматической обработки
текста, применяет современные
подходы к решению задач в области разрешения семантической неоднозначности и выделения устойчивых словосочетаний
Способен разрабатывать ПК-17 знает основные лингвистичеи совершенствовать
ские ресурсы, владеет цепочкой
электронные языковые
лингвистической обработкой
ресурсы, лингвистичетекста
ские
компоненты информационных систем,
лингвистические модули
компьютерных систем
обучения
4
Формы и методы обучения,
способствующие формированию и развитию компетенции
- чтение специальной литературы
-выполнение самостоятельных заданий
- анализ полученных данных
практические занятия по
созданию языковых ресурсов и лингвистических
компонентов
обзор и рефераты существующих разработок
Место дисциплины в структуре образовательной программы
Настоящая дисциплина относится к циклу профессиональных дисциплин, обязательных
для изучения
Изучение данной дисциплины базируется на следующих дисциплинах:
 Введение в лингвистику (адаптационный курс) или курс по теория языка программы подготовки бакалавра
 Введение в математику (адаптационный курс) или курс по дискретной математики программы подготовки бакалавра
 Введение в программирование (адаптационный курс) или начальный курс по программированию программы подготовки бакалавра
 Иностранный язык
 Компьютерная лингвистика. Автоматическая обработка текста
Для освоения учебной дисциплины, студенты должны владеть следующими знаниями и
компетенциями:
 владеть базовыми представлениями о грамматических категориях и анализе языковых единиц;
 владеть базовыми знаниями в области теории алгоритмов и основ математики
 владеть базовыми знаниями в области теории вероятностей и статистики;
 уметь читать научные работы и технические описания на английском языке.
Национальный исследовательский университет «Высшая школа экономики»
для направления 035800.62 Фундаментальная и прикладная лингвистика
подготовки бакалавра
Основные положения дисциплины должны быть использованы в дальнейшем при изучении следующих дисциплин:
 машинный перевод, корпусная лингвистика, онтологии и семантические технологии
5
Тематический план учебной дисциплины
№
Всего
часов
Название раздела
3
Квантитативные характеристики слов и
словосочетаний и использование их в автоматической обработке текста. Автоматический семантический анализ
Кластеризация, классификация текстов,
методы машинного обучения
Задачи автоматического анализа контента
6
Формы контроля знаний студентов
1
2
Тип контроля
Текущий
(неделя)
Итоговый
Форма контроля
Домашнее задание
Экзамен
Аудиторные часы
ПрактиЛекСемические
ции
нары
занятия
Самостоятельная
работа
28
4
4
20
24
4
4
16
56
108
6
14
8
16
42
78
Параметры **
2
4
Проспект проекта
2
Устный экзамен, защита проекта
Критерии оценки знаний, навыков
Оценки по всем формам текущего контроля выставляются по 10-ти балльной шкале.
В рамках курса планируется выполнение группового проекта и его защита. Проект представляет собой описание проекта анализа контента, включающего модули анализа текста. Он
должен содержать описание задачи, анализ аналогов и подходов, описание обучающей и тестовой коллекции, описание структуры лингвистических модулей и подробный разбор одного из
модулей.
Задания и проверка происходит через LMS. Задания выполняются в формате проектов в
LMS.
6.1
Порядок формирования оценок по дисциплине
Преподаватель оценивает работу студентов на семинарских и практических занятиях:
оцениваются вопросы к прочитанному материалу, качество презентации, активность при проведении тестирования систем. Оценки за работу на семинарских и практических занятиях преподаватель выставляет в рабочую ведомость. Накопленная оценка по 10-ти балльной шкале за
работу на семинарских и практических занятиях определяется перед промежуточным или итоговым контролем - Оаудиторная.
Преподаватель оценивает самостоятельную работу студентов: оценивается правильность
и своевременность сдачи домашних работ, качество задаваемых к прочитанному материалу вопросов и составление резюме по прочитанным статьям. Оценки за самостоятельную работу
6.2
Национальный исследовательский университет «Высшая школа экономики»
для направления 035800.62 Фундаментальная и прикладная лингвистика
подготовки бакалавра
студента преподаватель выставляет в рабочую ведомость. Накопленная оценка по 10-ти балльной шкале за самостоятельную работу определяется перед промежуточным или итоговым контролем – Осам. работа.
Накопленная оценка за текущий контроль учитывает результаты студента по текущему
контролю следующим образом:
Онакопленная= 0.4* Отекущий + 0.2* Оауд + 0.4* Осам.работа
где Отекущий
рассчитывается как взвешенная сумма всех форм текущего контроля, предусмотренных в РУП
Отекущий = 0.6·Оконтр + 0.4·Одз ;
Способ округления накопленной оценки текущего контроля: способ округления - в пользу студента.
Результирующая оценка за дисциплину рассчитывается следующим образом:
Орезульт = 0.5* Онакопл + 0.5 *·Оэкз
Способ округления накопленной оценки промежуточного (итогового) контроля в форме
зачета: в пользу студента.
На пересдаче студенту предоставляется возможность получить дополнительный балл
для компенсации оценки за текущий контроль.
На зачете студент может получить дополнительный вопрос (дополнительную практическую задачу, решить к пересдаче домашнее задание), ответ на который оценивается в 1 балл.
7
1
2
3
4
Содержание дисциплины
Квантитативные характеристики слов и
словосочетаний и использование их в автоматической обработке текста
Методы выделения ключевых слов в тексте
Методы автоматического выделения
устойчивых словосочетаний
Методы автоматического разрешения семантической неоднозначности
12
2
2
8
24
4
4
16
36
6
6
24
36
6
6
24
лекции
практические занятия
Раздел1. Квантитативные характеристики слов и использование их в автоматической обработке текста. Автоматический
семантический анализ
Методы выделения тематически значимых слов в тексте. Клю- 2
чевые слова. Tf.idf и другие меры тематической значимости
Методы выделения устойчивых словосочетаний
0
Методы разрешения семантической неоднозначности
2
Раздел 2. Кластеризация и классификация текстов. Методы
машинного обучения
0
4
0
Национальный исследовательский университет «Высшая школа экономики»
для направления 035800.62 Фундаментальная и прикладная лингвистика
подготовки бакалавра
Методы кластеризации текстов
Методы классификации текстов
2
2
2
2
Раздел 3. Извлечение информации из текста
Автоматическое извлечение именованных сущностей
2
Автоматическое извлечение фактов и отношений
2
Автоматическое извлечение мнений
2
Раздел 4. Проекты по автоматическому анализу контента
Постановка задач для выполнения курсового проекта: разработка ТЗ для создания системы обработки текста (синтеза текста, машинного перевода и т.п.), использующей модули автоматической обработки текста1. Обсуждение тем проектов.
Обсуждение постановки задачи для каждого из выбранных
студентами проектов
Презентации и тестирование существующих систем, использующих модули АОТ, аналогичных системам, выбранным для
проекта
Взаимное рецензирование и обсуждение проекта: презентации
курсовых проектов. Обсуждение результатов анализа проекта
оппонирующей группы2
Экзамен
8
2
2
4
Образовательные технологии
Рекомендуемые образовательные технологии включают лекции, семинары, работу в
групповых проектах, самостоятельную работу студентов (чтение и реферирование
литературных источников, в том числе англоязычных, выполнение практических домашних
заданий с использованием специализированного компьютерного инструментария, курсовые
работы (по выбору обучающихся), предусмотрены также различные виды производственных
практик, обладающих необходимым кадровым и научно-техническим потенциалом, а также в
сторонних организациях: профильных вузах и предприятиях, институтах РАН, НИИ,
компаниях.
При проведении занятий рекомендуется использование интерактивных форм занятий
(проектных методик, разбор конкретных ситуаций, включение в лекционный курс
интерактивного общения с аудиторией, презентаций, контрольных вопросов на понимание) в
сочетании с внеаудиторной работой. Удельный вес занятий, проводимых в интерактивных
формах, должен составлять не менее 50 % аудиторных занятий.
В рамках учебного курса могут быть предусмотрены встречи с российскими или
зарубежными учеными, специализирующимися в области создания корпусов.
9
9.1
Оценочные средства для текущего контроля и аттестации студента
Тематика заданий текущего контроля
Примерные вопросы/ задания для домашних работ:
Курс делится на группы по 3 человека. Каждая группа выбирает одну из тем по актуальным направлениям и готовит курсовой проект: проект ТЗ на создание продукта, содержащего лингвистический компонент и использующего технологии автоматической обработки текста с проработкой лингвистического модуля системы.
2
Проекты подвергаются взаимному рецензированию: каждой группе назначается группа-оппонент, задача которой
ознакомиться с проектом, проанализировать, написать рецензию, изложить критические замечания и задать необходимые вопросы
1
Национальный исследовательский университет «Высшая школа экономики»
для направления 035800.62 Фундаментальная и прикладная лингвистика
подготовки бакалавра
1.
2.
3.
4.
5.
6.
7.
8.
9.2
Вычислите tf.idf для выбранного Вами текста и выбранного корпуса текстов
Протестируйте систему выделения ключевых слов. Вычислите точность и полноту
Разметьте в корпусе текстов глаголы по значениям
Дано множество контекстов некоторого многозначного слова. Сгруппируйте контексты по семантической близости. Разбейте множество контекстов на группы в соответствии с конкретным значением слова.
Предложите вариант проекта системы, использующей модули автоматической обработки текста. Обоснуйте актуальность и новизну такой системы
Выполните анализ аналогов системы
Составьте предварительное описание проекта
Проведите рецензирование проекта другой группы
Вопросы для оценки качества освоения дисциплины
1. Какие методы выделения ключевых слов вы знаете
2. Какие методы выделения коллокаций Вы знаете; каковы параметры выделения
устойчивых словосочетаний
3. Какие методы разрешения семантической неоднозначности, основанные на базах
знаний, Вы знаете?
4. Какие статистические методы применяются в задачах разрешения семантической
неоднозначности
5. Назовите основные методы кластеризации. Как эти методы применяются к задача
кластеризации текстов
6. Какие методы классификации применяются в задачах рубрикации текстов
7. Каковы задачи извлечения именованных сущностей? Какие типы омонимии необходимо разрешать в задачах автоматического извлечения сущностей
8. В чем заключается задача и извлечения фактов и отношений? Какие два базовых
подхода используются в решении данной задачи? Приведите примеры систем.
9. Перечислите задачи извлечения мнений и анализа тональности.
10. Назовите основные классы лексем и конструкций, которые необходимо учитывать в
автоматическом анализе тональности и извлечении мнений.
Примеры заданий промежуточного /итогового контроля
По желанию автора программы, приводятся примеры билетов с вопросами и задачами,
заданий для зачета или экзамена, тренировочные тесты по дисциплине.
Примеры домашних заданий:
Основной задачей курса является написание курсового проекта, который представляет
собой проект ТЗ по разработке системы, решающих одну из задач в рамках одного из актуальных направлений компьютерной лингвистики. Студенты разбиваются на группы по 3-4 человека. Каждая группа исследует материалы по актуальным направлениям компьютерной лингвистике, обсуждаемых на соответствующих порталах по компьютерной лингвистике (например,
создание систем извлечения фактов из новостных сообщений, мультиязычного тезауруса по
конкретной предметной области и т.п.), выбирает одно из направлений. Написание проекта разбивается на 6 подзадач, каждая из которых обсуждается на семинарах:
 Задача 1. Анализ порталов по компьютерной лингвистике, указанных преподавателем,
выбор темы – типа системы;
 Задача 2. Подготовка драфта проекта; списка вопросов, которые должны быть уточнены
на семинаре; темы лекции, которая необходима для написания проекта;
 Задача 3. Тестирование существующих аналогичных систем, подготовка к обсуждению и
тестированию аналогов на семинаре
 Задача 4. Разработка проекта ТЗ
 Задача 5. Анализ одного из проектов коллег. Рецензирование проекта
9.3
Национальный исследовательский университет «Высшая школа экономики»
для направления 035800.62 Фундаментальная и прикладная лингвистика
подготовки бакалавра

1.
2.
3.
4.
5.
6.
7.
8.
Задача 6. Внесение изменений, уточнений, исправлений по результатам рецензирования
и обсуждения проекта на семинаре. Подготовка окончательного варианта проекта.
Примерный план проекта:
Название проекта, разработчики проекта, вклад каждого разработчика
Назначение объекта проектирования: какие задачи будет решать система?
Области применения: где и кем такая система может применяться, оценить востребованность системы
Уникальность системы: есть ли аналоги в России и на западе.
Общее описание работы системы. Алгоритм работы.
Детальное описание лингвистических модулей.
Оценка времени разработки и необходимого количества разработчиков
Методика проведения тестирования системы
10 Учебно-методическое и информационное обеспечение дисциплины
10.1 Основная литература
Jurafsky, Daniel, and James H. Martin. (2009). Speech and Language Processing: An Introduction to
Natural Language Processing, Speech Recognition, and Computational Linguistics . 2nd edition. Prentice-Hall. Ch.20, Ch. 22
Manning C.D., Schütze H. Foundations of Statistical Natural Language Processing - Cambridge, Massachusetts: The MIT Press, 1999. Ch. 5. Collocations.
10.2 Дополнительная литература
Salton G, Wong A, Yang C. A Vector Space Model for Automatic Indexing. // Communications of the
ACM, 18(11):613-620, 1975.
Manning C.D., Schütze H. Foundations of Statistical Natural Language Processing - Cambridge, Massachusetts: The MIT Press, 1999.
Браславский П., Соколов Е. Сравнение пяти методов извлечения терминов произвольной длины
// Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной
Международной конференции «Диалог» (Бекасово, 4–8 июня 2008 г.). Вып. 7 (14).– М.: РГГУ,
2008. - С. 67-74.
Кристофер Д. Маннинг, Прабхакар Рагхаван, Хайнрих Шютце. Введение в информационный
поиск - 2011 г. С. 257 – 294.
Литература к проектам
Прикладная лингвистика. // Статья в энциклопедии «Фонд знаний «Ломоносов»». URL:
http://www.lomonosov-fund.ru/enc/ru/encyclopedia:01206:article.
Литература для докладов (презентации на коллоквиуме):
Генерация текстов
Соколова Е.Г.,
Болдасов М.
Автоматическая
генерация
текстов
на
ЕЯ
(портрет направления) http://www.dialog-21.ru/Archive/2004/Sokolova.htm
Ehud Reiter. Has a Consensus NL Generation Structure Appeared, and is it Psycholinguistically
Plausible? — 7th International Generation Workshop (Kennebunkport, Maine). URL:
http://www.aclweb.org/anthology/W/W94/W94-0319.pdf
Машинный перевод
Лекция Л.Л.Иомдина “Машинный перевод: успехи, неудачи, надежды”. Лекторий Политехнического музея. Видео. Доступно с URL
http://rutube.ru/video/828268c50a49b876a6f4676b839fa745/ дата обращения 20.01.2014)
3. Brown P. F. et al. The mathematics of statistical machine translation: Parameter estimation
//Computational linguistics. – 1993. – Т. 19. – №. 2. – С. 263-311.
http://acl.ldc.upenn.edu/J/J93/J93-2003.pdf
Text mining (классификация, кластеризация, реферирование). На примере анализа но-
Национальный исследовательский университет «Высшая школа экономики»
для направления 035800.62 Фундаментальная и прикладная лингвистика
подготовки бакалавра
востного потока
Кондратьев М. Е. Анализ методов кластеризации новостного потока //Тр. Восьмой Всерос.
науч. конф.«Электронные библиотеки: перспективные методы и технологии, электронные
коллекции»(RCDL’2006).—Ярославль. – 2006. – С. 108-114.rcdl.ru/doc/2006/paper_92_v1.pdf
Распознавание речи
Speech recognition. http://en.wikipedia.org/wiki/Speech_recognition
В. Н. Сорокин, Синтез речи. М., 1992.,
D. Childers, Speech Processing, John Wiley and Sons, Inc., все издания, начиная с 1999
Диалоговые системы. Говорящие роботы
Filipe P. P., Morgado L., Mamede N. J. An Adaptive Domain Knowledge Manager for Dialogue
Systems //ICEIS (5). – 2007. – С. 45-52. http://www.inesc-id.pt/pt/indicadores/Ficheiros/3983.pdf
Bermúdez M. G., Vila M. G. Dialogue Management for multilingual communication through different channels.
Извлечение информации из текста: извлечение именованных сущностей, отношений и
фактов
Information Extraction http://en.wikipedia.org/wiki/Information_extraction
Котельников Д. С., Лукашевич Н. В. Итерационное извлечение шаблонов описания событий
по новостным кластерам. http://ceur-ws.org/Vol-934/paper45.pdf
Nadeau D. and Sekine S. A survey of named entity recognition and classification, Linguisticae
Investigationes, Amsterdam, Netherlands: John Benjamins Publishing Company, 1: Vol. 30.
pp. 3-26.
Brykina M., Toldova S.Yu., Faynveyts A. V. Dictionary-based ambiguity resolution in Russian
named-entities recognition. A case study. P. 163-177. Компьютерная лингвистика и интеллектуальные технологии: по материалам международной конференции “Диалог” 2013.
Вып.
12(19).
М.:
РГГУ,
2013.
URL:
http://www.dialog21.ru/digests/dialog2013/materials/pdf/BrykinaMM.pdf
Пазельская А. Г., Соловьев А. Н. Метод определения эмоций в текстах на русском языке
//ЗАО «Ай-Теко», Москва, Россия. URL: http://www.dialog21.ru/digests/dialog2011/materials/ru/pdf/50.pdf
10.3 Программные средства
Для успешного освоения дисциплины, студент использует следующие программные
средства:
http://company.yandex.ru/technologies/mystem/
http://pythonhosted.org/pymorphy/
http://www.aot.ru/download.php
http://nlp.lsi.upc.edu/freeling/
http://corpus.leeds.ac.uk/mocky/
http://corpus.leeds.ac.uk/mocky/

Один из пакетов на выбор (для группы)
Программные среды TOMITA Parser, GATE, NLTK, NooJ, UIMA
10.4 Дистанционная поддержка дисциплины
Для освоения программы используются электронные ресурсы LMS,
http://text0.mib.man.ac.uk:8080/scottpiao/sent_detector
http://beta.visl.sdu.dk/visl/en/parsing/automatic/parse.php
http://ruscorpora.ru/
http://www.corpus-i.compling.net/res01/rtb.php
http://www.connexor.fi/

СинТагРус http://ruscorpora.ru/search-syntax.html (дата обращения: 27.01.2014),
Национальный исследовательский университет «Высшая школа экономики»
для направления 035800.62 Фундаментальная и прикладная лингвистика
подготовки бакалавра


Тестовый корпус с параллельной синтаксической разметкой
http://otipl.philol.msu.ru/~soiza/testsynt/, (дата обращения: 27.01.2014),
Rus-Treebank http://otipl.philol.msu.ru/~soiza/rtb/res01/rtb.php (дата обращения: 27.01.2014)
11 Материально-техническое обеспечение дисциплины
Для проведения практических занятий необходимы компьютерные классы, для проведения лекций проектор, экран