Введение в корпусную лингвистику

Лекция 1.
Введение в корпусную
лингвистику
Е.Ю. Калинина
МГУ, 2007-2008
Понятие корпуса
Электронный массив языковых
данных,
подобранных специальным
образом,
с разметкой и поисковым
интерфейсом.
Лекция 1
Корпусная лингвистика
2
Словарные картотеки
Лекция 1
Корпусная лингвистика
3
Электронные библиотеки
и их разнообразие
Корпус латинских текстов “Персей”.
Корпус текстов Ф. М. Достоевского.
Электронная энциклопедия "Брокгауз и
Ефрон".
Фундаментальная электронная
библиотека.
Российская виртуальная библиотека.
Библиотека М. Мошкова.
Электронная библиотека Химического
фак-та МГУ.
…………………………………………………
…….
и т.д.
Лекция 1
Корпусная лингвистика
4
Корпус vs. электронная библиотека
Тексты в корпусах рассматриваются прежде всего как образцы текстов.
Тексты в электронных библиотеках, исходя из их назначения,
правильнее всего называть произведениями со всеми характерными
для них атрибутами.
Лингвистический корпус текстов:
Электронная библиотека:
образцы текстов
полные тексты
лингвистическая разметка
библиографические и историкокультурные элементы данных (если
имеются)
лингвостатистика
отсутствие статистики
репрезентативность языкового
материала"условная"
полнота текстов электронной библиотеки
отбор языкового материала на основе
отбор текстов, определяемый выбором
критериев репрезентативности,
составителей библиотеки
лингвистической и историко-культурной
значимости
Лекция 1
Корпусная лингвистика
5
Лингвистические корпусы
 Brown Corpus.
 Ланкастерский корпус английского языка (LancasterOslo-Bergen Corpus, LOB).
 British National Corpus.
 International Corpus of English.
 Bank of English.
 Cobuild Corpus.
 Мангеймский корпус немецкого языка.
 Чешский национальный корпус.
 Уппсальский корпус русского языка.
 Национальный корпус русского языка.
 Корпусы китайского, турецкого, эстонского, албанского
и многих других языков
Лекция 1
Корпусная лингвистика
6
Корпусная лингвистика
 Корпусная лингвистика – раздел
компьютерной лингвистики,
занимающийся разработкой общих
принципов построения и использования
лингвистических корпусов (корпусов
текстов) с использованием компьютерных
технологий.
Лекция 1
Корпусная лингвистика
7
Конкорданс
 Конкорданс – список всех употреблений
данного слова в контексте (возможно, со
ссылками на источник).
Чешский национальный корпус: Поиск словоупотреблений
слова holubí (голубиный).
Лекция 1
Корпусная лингвистика
8
Предпосылки создания и
использования корпусов
Назначение языкового корпуса – показать
функционирование лингвистических единиц в их
естественной контекстной среде.
На основе корпуса можно получить данные:
 о частоте словоформ, лексем, грамматических
категорий,
 об изменениях частот
 об изменениях контекстов в различные периоды
времени
 о поведении языковых единиц разных авторов
 о совместной встречаемости лексических единиц
 об особенностях их сочетаемости, управления
 и т.д.
Лекция 1
Корпусная лингвистика
9
Репрезентативность
 Размеры и процентные
соотношения:
Жанры
Стили
Периоды
Авторы
Хронологические границы
……………………….
Лекция 1
Корпусная лингвистика
10
Разметка
Англ.: tagging, annotation.
 Разметка – приписывание текстам и
их компонентам специальных меток.
Виды разметки:
 экстралингвистическая (метаразметка)
сведения об авторе и сведения о тексте:
автор, название, год и место издания,
жанр, тематика;
 структурная
(глава, абзац, предложение,
словоформа)
 собственно лингвистическая
Лекция 1
Корпусная лингвистика
11
Лингвистическая разметка
1. морфологическая разметка
part-of-speech tagging (POS-tagging)
2.
3.
4.
5.
Лекция 1
синтаксическая разметка
семантическая разметка
анафорическая разметка
просодическая разметка
и т.д.
Корпусная лингвистика
12
Типы корпусов
Сбалансированные: корпуса,
представляющие отдельный язык;
Проблемные: корпуса,
представляющие подъязык (жанр,
стиль, язык определенной
возрастной или социальной группы,
язык писателя или ученого и т.п.)
или созданные в расчете на
изучение специальной проблемы.
Лекция 1
Корпусная лингвистика
13
А.С. Пушкин. Капитанская дочка
Комендант расхаживал перед своим
малочисленным строем. Близость опасности
одушевляла старого воина бодростию
необыкновенной. По степи, не в дальнем
расстоянии от крепости, разъезжали человек
двадцать верхами. Они, казалося, казаки, но
между ими находились и башкирцы, которых
легко можно было распознать по их рысьим
шапкам и по колчанам. Комендант обошел
свое войско, говоря солдатам: "Ну, детушки,
постоим сегодня за матушку государыню и
докажем всему свету, что мы люди бравые и
присяжные!" Солдаты громко изъявили
усердие.
Лекция 1
Корпусная лингвистика
14
М.Ю. Лермонтов. Герой нашего
времени
Тут он начал щипать левый ус, повесил голову и
призадумался. Мне страх хотелось вытянуть из него
какую-нибудь историйку - желание, свойственное всем
путешествующим и записывающим людям. Между тем
чай поспел; я вытащил из чемодана два походных
стаканчика, налил и поставил один перед ним. Он
отхлебнул и сказал как будто про себя: "Да, бывало!" Это
восклицание подало мне большие надежды. Я знаю,
старые кавказцы любят поговорить, порассказать; им так
редко это удается: другой лет пять стоит где-нибудь в
захолустье с ротой, и целые пять лет ему никто не
скажет "здравствуйте" (потому что фельдфебель
говорит "здравия желаю"). А поболтать было бы о чем:
кругом народ дикий, любопытный; каждый день
опасность, случаи бывают чудные, и тут поневоле
пожалеешь о том, что у нас так мало записывают.
Лекция 1
Корпусная лингвистика
15
Н.В.Гоголь. Рим (отрывок)
Попробуй взглянуть на молнию, когда,
раскроивши черные, как уголь, тучи,
нестерпимо затрепещет она целым потопом
блеска. Таковы очи у альбанки Аннунциаты.
Всё напоминает в ней те античные времена,
когда оживлялся мрамор и блистали
скульптурные резцы. Густая смола волос
тяжеловесной косою вознеслась в два кольца
над головой и четырьмя длинными кудрями
рассыпалась по шее. Как ни поворотит она
сияющий снег своего лица -- образ ее весь
отпечатлелся в сердце. Станет ли профилем -благородством дивным дышит профиль, и
мечется красота линий, каких не создавала
кисть… Но чудеснее всего, когда глянет она
прямо очами в очи, водрузивши хлад и
замиранье в сердце.
Лекция 1
Корпусная лингвистика
16
Н.В. Гоголь. Шинель
В это время, когда даже у занимающих
высшие должности болит от морозу лоб и
слезы выступают в глазах, бедные титулярные
советники иногда бывают беззащитны. Все
спасение состоит в том, чтобы в тощенькой
шинелишке перебежать как можно скорее пятьшесть улиц и потом натопаться хорошенько
ногами в швейцарской, пока не оттают таким
образом все замерзнувшие на дороге
способности и дарованья к должностным
отправлениям.
Лекция 1
Корпусная лингвистика
17
Л.Н. Толстой. Рубка леса
- тот самый бомбардир Антонов,
который еще в 37-м году, втроем,
оставшись при одном орудии, без
прикрытия, отстреливался от сильного
неприятеля и с двумя пулями в ляжке
продолжал итти около орудия и
заряжать его. "Давно бы уж ему быть
фейерверкером, коли бы не карахтер
его", говорили про него солдаты.
Лекция 1
Корпусная лингвистика
18
Л.Н. Толстой. Рубка леса
Наконец, перейдя неглубокий, но чрезвычайно
быстрый ручей, нас остановили, ив авангарде
послышались отрывчатые винтовочные
выстрелы. Звуки эти, как и всегда, особенно
возбудительно подействовали на всех. Отряд
как бы проснулся: в рядах послышались
говор, движение и смех. Солдаты кто боролся с
товарищем, кто перепрыгивал с ноги на ногу,
кто жевал сухарь или, для препровождения
времени, отбивал на караул и к ноге. Притом
туман заметно начинал белеть на востоке,
сырость становилась ощутительнее, и
окружающие предметы постепенно выходили
из мрака.
Лекция 1
Корпусная лингвистика
19
Ф.М. Достоевский. Бесы
Это было в пятьдесят пятом году,
весной, в мае месяце, именно
после того как в Скворешниках
получилось известие о кончине
генерал-лейтенанта Ставрогина,
старца легкомысленного…
Лекция 1
Корпусная лингвистика
20
Ф.М. Достоевский. Бесы
Это было одно из тех идеальных русских существ,
которых вдруг поразит какая-нибудь сильная идея и тут
же разом точно придавит их собою, иногда даже
навеки. Справиться с нею они никогда не в силах, а
уверуют страстно, и вот вся жизнь их проходит потом
как бы в последних корчах под свалившимся на них и
на половину совсем уже раздавившим их камнем…
Не прочь мы были и от городских сплетен, при чем
доходили иногда до строгих высоко-нравственных
приговоров. Впадали и в общечеловеческое, строго
рассуждали о будущей судьбе Европы и
человечества; докторально предсказывали, что
Франция после цезаризма разом ниспадет на степень
второстепенного государства, и совершенно были
уверены, что это ужасно скоро и легко может сделаться.
Лекция 1
Корпусная лингвистика
21
А.П. Чехов. Скучная история
На свежего мальчика, приехавшего из провинции и
воображающего, что храм науки в самом деле храм,
такие ворота не могут произвести здорового
впечатления. Вообще ветхость университетских
построек, мрачность коридоров, копоть стен, недостаток
света, унылый вид ступеней, вешалок и скамей в
истории русского пессимизма занимают одно из первых
мест на ряду причин предрасполагающих... Вот и наш
сад. С тех пор, как я был студентом, он, кажется, не
стал ни лучше, ни хуже. Я его не люблю. Было бы
гораздо умнее, если бы вместо чахоточных лип,
желтой акации и редкой, стриженой сирени росли тут
высокие сосны и хорошие дубы. Студент, настроение
которого в большинстве создается обстановкой, на
каждом шагу, там, где он учится, должен видеть перед
собою только высокое, сильное и изящное... Храни его
бог от тощих деревьев, разбитых окон, серых стен и
дверей, обитых рваной клеенкой.
Лекция 1
Корпусная лингвистика
22
А.П. Чехов. Остров Сахалин
Он рассказывает, что на Сахалине за все 22
года он ни разу не был сечен и ни разу не
сидел в карцере. - Потому что посылают лес
пилить - иду, дают вот эту палку в руки -беру,
велят печи в канцерярии топить - топлю.
Повиноваться надо. Жизнь, нечего бога
гневить, хорошая. Слава тебе господи! Летом
он живет в юрте около перевоза. В юрте у него
лохмотья, каравай хлеба, ружье и спертый,
кислый запах. На вопрос, для чего ему ружье,
говорит- от воров и куликов стрелять - и
смеется. Ружье испорчено и стоит тут только
для виду. Зимою превращается он в дровотаска
и живет в конторе на пристани.
Лекция 1
Корпусная лингвистика
23
А.П. Чехов. Степь
Лицо дяди по-прежнему выражало деловую
сухость. Фанатик своего дела, Кузьмичов
всегда, даже во сне и за молитвой в церкви,
когда пели "Иже херувимы", думал о своих
делах, ни на минуту не мог забыть о них, и
теперь, вероятно, ему снились тюки с шерстью,
подводы, цены, Варламов... Отец же
Христофор, человек мягкий, легкомысленный
и смешливый, во всю свою жизнь не знал ни
одного такого дела, которое, как удав, могло бы
сковать его душу. Во всех многочисленных
делах, за которые он брался на своем веку,
его прельщало не столько само дело, сколько
суета и общение с людьми, присущие всякому
предприятию.
Лекция 1
Корпусная лингвистика
24
В.В. Набоков. Дар
Ему казалось, что он сдерживает шаг до
шляния, однако попадавшиеся по пути
часы (боковые исчадия часовых лавок)
шли еще медленнее, и когда у самой
цели он одним махом настиг Любовь
Марковну, шедшую туда же, он понял,
что во весь путь нетерпение несло его,
как на движущихся ступеньках,
превращающих и стоячего в скорохода.
Лекция 1
Корпусная лингвистика
25
В.В. Набоков. Весна в Фиальте
Со ступеньки встал и пошел, с выпученным
серым, пупастым животом, мужского пола
младенец, ковыляя на калачиках и стараясь
нести зараз три апельсина, неизменно один
роняя, пока сам не упал, и тогда мгновенно у
него все отняла тремя руками девочка с
тяжелым ожерельем вокруг смуглой шеи и в
длинной, как у цыганки, юбке. Далее, на
мокрой террасе кофейни официант вытирал
столики; с ним беседовал, опершись с моей
стороны на перила, безнадежно усатый
продавец сложных, с лунным отливом,
сластей в безнадежно полной корзине.
Лекция 1
Корпусная лингвистика
26
А. Платонов. Усомнившийся
Макар
Среди прочих трудящихся масс жили два
члена государства: нормальный мужик Макар
Ганушкин и более выдающийся -- товарищ
Лев Чумовой, который был наиболее умнейшим
на селе и, благодаря уму, руководил
движением народа вперед, по прямой линии
к общему благу. Зато все население деревни
говорило про ЛьваЧумового, когда он шел гделибо мимо: -- Вон наш вождь шагом
куда-то пошел, завтра жди какого-нибудь
принятия мер...
Лекция 1
Корпусная лингвистика
27
Саша Соколов. Между волком и
собакой
Скитаясь по долгу службы с одинокой гармоникой
или с точильным ножным станком, странствуя в долине
ненаглядной Итиль-реки, задрипан и собственному
сердцу обрыдл, я последних едал без меры. Да хороши
ли на вкус? Видите ли, за похвалою не постою:
объядение. В местности глухой, где спасается
древнеющий люд-глухарь, которому вся твоя
филармония вне надобности; или в области тупой, где
никто ничего не сечет, не режет, не рубит из-за лени
повальной; в местности тупой и в области глухой к
исходу напрасно изжитого света, когда людям играл,
а они не вняли, иль домогался, поточить ли не требуется
то да се, дабы иметь на пропитание с них, но не вынесли
ни малой даже иглы, разузнай у старого коромысла
дорогу к воде и канай, пустобрюхий,к ней в гости, что к
теще на званый борщ. Ты хромай большаками на
единосущной ноге, ковыляй заливными лузями,
осененный блестким узорочьем.
Лекция 1
Корпусная лингвистика
28
Сергей Довлатов. Чемодан
Двести лет назад историк Карамзин побывал во
Франции. Русские эмигранты спросили его: - Что, в
двух словах, происходит на родине? Карамзину и двух
слов не понадобилось. - Воруют, - ответил Карамзин...
Действительно, воруют. И с каждым годом все
размашистей. С мясокомбината уносят говяжьи туши.
С текстильной фабрики - пряжу. С завода
киноаппаратуры - линзы. Тащат все - кафель, гипс,
полиэтилен, электромоторы, болты, шурупы,
радиолампы, нитки, стекла. Зачастую все это
принимает метафизический характер. Я говорю о
совершенно загадочном воровстве без какой-либо
разумной цели. Такое, я уверен, бывает лишь в
российском государстве.
Лекция 1
Корпусная лингвистика
29
А. Бруштейн. Дорога уходит
вдаль
Итого,- заключает папа,- они у вас едят каждые два часа.
Едят они! - Глаза Серафимы Павловны наливаются
слезами.- Кусочек того, капельку этого, здесь глоточек
отопьют, там вилкой поковыряют, размажут,
раздрызгают по тарелке, и все!.. Яков Ефимович,
дорогой, ну скажите, вы ученый человек, чего им еще
нужно, детям моим? И вдруг папа начинает хохотать.
Он хохочет, нагнув голову, словно собираясь долбануть
носом собственное колено. Он весь сотрясается и
плачет крупными слезами, слезы застилают его очки,
как дождевые капли – оконное стекло. - Чего им еще
нужно при таком питании? - переспрашивает он сквозь
смех.- Второй желудок им нужен! Не может один желудок
все это переварить! - Я ж говорю: умалишотка! хохочет и Владимир Иванович.
Лекция 1
Корпусная лингвистика
30
Шедевры современной прозы
Мужчина с хладнокровной внешностью оказался рядом с
ней.
Тот еще больше разозлился и, поднявшись с земли,
вытащил из – за пазухи нож, и начал им размахиваться.
Он ударил мужчину ногой по руке. Нож отлетел в сторону.
Подошел к нему ближе и врезал кулаком в челюсть.
Постучав в дверь, Анжелике ответил мужской голос
Парень громко захлопнул входную дверь. Анжелика
вздрогнула, и повернулась к нему лицом. Увидев ее
образ, парень замер на месте.
Он снял с головы Анжелики шпильки и распустил ее
восхитительные, темные волосы. Они источали
прекрасным ароматом
Лекция 1
Корпусная лингвистика
31
Шедевры современной прозы
Она поднялась на экскаваторе на второй этаж и вошла в
отдел нижнего белья. Хорошо рассматривая белье, ей
пригляделась одна модель: голубого цвета трусики виде
шортиков и бюстгальтер “Анжелика”. Сабина очень
любила яркую одежду.
Антония ходила по комнате в разные стороны. Она о чем
– то тревожилась, и очень боялась…
Она не остановилась, а бежала по коридору сквозь
голову сломя . Тобиос был очень встревожен
поведением своей девушки и бегом пошел за ней.
Сабина поднялась с дивана и гордо с высоко поднятой
головой вытолкала Антонию из дома.
О! – раздвинул брови в сторону. – Я слушаю тебя.
Лекция 1
Корпусная лингвистика
32
Классификация корпусов
Признак
Типы корпусов
Тип данных
•Письменные
•Речевые
•Смешанные
Язык текстов
•Русский
•Английский и т.д.
«Параллельность»
•Одноязычные
•Двуязычные
•Многоязычные
«Литературность»,специфичност
ь
•Литературные
•Диалектные
•Разговорные
•Терминологические
•Смешанные
Жанр
•Литературные
•Фольклорные
•Драматургические
•Публицистические
33
Лекция 1
Корпусная лингвистика
Классификация корпусов (прод.)
Признак
Типы корпусов
Доступность
•Свободно доступные
•Коммерческие
•Закрытые
Назначение
•Исследовательские
•Иллюстративные
Динамичность
•Динамические (мониторные)
•Статические
Разметка
•Размеченные
•Неразмеченные
Характер разметки
•Морфологические
•Синтаксические
•Семантические
•Просодические и т.д.
Объем текстов
•Полнотекстовые
•«Фрагментнотекстовые»
Лекция 1
Корпусная лингвистика
34
Классификация корпусов (прод.)
Признак
Типы корпусов
Хронологический аспект
•Синхронические
•Диахронические
«Общность»
•Общие
•Одного писателя
Лекция 1
Корпусная лингвистика
35
Пользователи
Прикладные лингвисты;
лексикографы;
лингвисты-теоретики;
преподаватели;
компьютерные лингвисты;
другие специалисты по языку (литературоведы,
редакторы);
 специалисты по общественным наукам (историки,
социологи);
 корпусы как инструмент для разработки и настройки
различных автоматизированных систем (машинный
перевод, распознавание речи, информационный поиск).






Лекция 1
Корпусная лингвистика
36
Максимы Лича (Geoffrey Leech)
1. It should be possible to remove
the annotation from an annotated
corpus in order to revert to the raw
corpus.
2. It should be possible to extract
the annotations by themselves
from the text.
Лекция 1
Корпусная лингвистика
37
Пример разметки
<teiHeader id="TRIF1" target="TRIFONOW/dom.txt" type="text"
lang="ru">
<fileDesc>
<titleStmt>
<title>Дом на набережной</title><author>Юрий
Трифонов</author>
<extent type="w">45238</extent>
<extent type="u">4</extent>
<extent type="s">4132</extent>
</titleStmt>
<sourceDesc>
<respStmt><resp>Файл из Библиотеки
Мошкова</resp></respStmt>
<address>http://www.lib.ru/PROZA/TRIFONOW/dom.txt</address>
</sourceDesc>
</fileDesc>
Лекция 1
Корпусная лингвистика
38
Максимы Лича
3. The annoatation scheme should
be based on guidelines which are
available to the end user.
4. It should be made clear how and
by whom the annotation was
carried out.
Лекция 1
Корпусная лингвистика
39
Максимы Лича
5. The end user should be made
aware that the corpus annotation is
not infallible, but simply a
potentially useful tool.
6. Annotation schemes should be
based as far as possible on widely
agreed and theory-neutral
principles.
Лекция 1
Корпусная лингвистика
40
Максимы Лича: самое главное
7. No annotation
scheme has the a priori
right to be considered
as a standard.
Лекция 1
Корпусная лингвистика
41