Общие вопросы - Высшая школа экономики

Правительство Российской Федерации
Федеральное государственное автономное образовательное учреждение
высшего профессионального образования
«Национальный исследовательский университет
«Высшая школа экономики»
Факультет Бизнес-информатики
Отделение Прикладной математики и информатики
Утверждена
Ученым советом факультета
«___» _____________ 2013 г.
Декан факультета ______________
(подпись)
____________________________________
(фамилия, инициалы)
Программа
итогового междисциплинарного экзамена по направлению
Прикладная математики и информатика
подготовки магистра по программе
«Математическое моделирование»
Москва, 2013
Общие вопросы
Современные методы анализа данных
1. Классический и ранговый критерии для проверки гипотезы об однородности двух выборок против
альтернативы сдвига
2. Классический и ранговый критерии для проверки гипотезы об однородности двух выборок против
альтернативы масштаба
3. Постановка задачи однофакторного дисперсионного анализа. Оценивание контрастов в модели
однофакторного дисперсионного анализа.
4. Применение непараметрических методов в задаче однофакторного дисперсионного анализа.
5. Асимптотическая относительная эффективность статистических критериев по Питмену.
Литература
1.
2.
3.
Горяинова Е.Р., Панков А.Р., Платонов Е.Н. Прикладные методы анализа статистических данных, М.: Изд. дом
Высшей школы экономики, 2012. – 310 с.
Тюрин Ю.Н., Макаров А.А. Статистический анализ данных на компьютере. М.: Инфра-М, 2003.
Холлендер М., Вульф Д. Непараметрические методы статистики. М.: Финансы и статистика,1983.
Современные методы принятия решений
1. Модели выбора. Выбор лучших альтернатив. Надпороговый выбор. Выбор «средних» по качеству
альтернатив. Удовлетворяют ли эти модели основным свойствам - Наследования, Согласия,
Отбрасывания. Аксиоме выбора Эрроу?
2. Модель многокритериального выбора «скаляр-скаляр». Удовлетворяет ли эта модель основным
свойствам - Наследования, Согласия, Отбрасывания. Аксиоме выбора Эрроу? Алгоритмическая
сложность моделей «скаляр-скаляр».
3. Модель многокритериального выбора «Парето-скаляр». Удовлетворяет ли эта модель основным
свойствам - Наследования, Согласия, Отбрасывания. Аксиоме выбора Эрроу? Алгоритмическая
сложность моделей «Парето-скаляр».
4. Задача оценки влияния в организациях. Индексы влияния Банцафа и Шепли-Шубика. Индексы
влияния при ограниченной кооперации участников.
2
Вопросы специализации «Интеллектуальные системы»
Упорядоченные множества в анализе данных
1. Свойства бинарных отношений. Отношения частичного порядка, эквивалентности, толерантности.
Отношения строгого порядка и покрытия, связанные с отношением частичного порядка. Графы
отношений, диаграммы частичного порядка. Полурешетки, решетки. Два определения решеток и
теорема об их эквивалентности.
2. Соответствие Галуа, задаваемое бинарным отношением. Оператор замыкания. Решетки
формальных понятий, основная теорема анализа формальных понятий (АФП): представимость
полных решеток решетками понятий. Диаграмма решетки понятий (граф отношения покрытия).
3. Признаковые импликации в контексте. Базис импликаций Дюкена-Гига (на основе
псевдосодержаний) и генераторный базис. Импликации в контексте и функциональные зависимости
в теории реляционных баз данных (двусторонняя сводимость).
4. Ассоциативные правила как метод разработки данных. Поддержка и достоверность ассоциативных
правил. Базис ассоциативных правил и его связь с диаграммой решетки понятий.
5. ДСМ-метод в терминах решеток понятий: гипотезы и классификация. Соотношение ДСМ-гипотез и
импликаций. Алгоритмы построения множества всех понятий (полный перебор и «Замыкай по
одному»).
Литература
1.
2.
Г. Биркгоф, Теория решеток. – М.: Наука, 1984. – 568 с.
B.Ganter, R.Wille, Formal Concept Analysis: Mathematical Foundations. Springer, 1999.
Методы машинного обучения и разработки данных
1. Задача классификации. Методы 1-Rule и ближайшего соседа (kNN). Методы оценки
качества. Скользящий контроль (crossvalidation). Точность и полнота. ROC-кривые.
2. Задача классификации. Метод Naïve Bayes. Методы оценки качества. Скользящий
контроль (crossvalidation). Точность и полнота. ROC-кривые.
3. Задача классификации. Деревья решений (на примере ID3 или C4.5). Методы оценки
качества. Скользящий контроль (crossvalidation). Точность и полнота. ROC-кривые.
4. Задача кластеризации. Метод k-средних. Метод K-медоидов. Силуэт кластеризации
(silhouette).
5. Задача кластеризации. Иерархическая кластеризация. Подходы AGNES (AGglomerative
NESting) и DIANA (DIvisive ANAlysis).
6. Поиск ассоциативных правил и частых множеств признаков. Алгоритм Apriori. Меры
качества правил (support и confidence).
7. Рекомендательные системы. Алгоритмы рекомендаций на основе сходства по
пользователям и на основе сходства по признакам. Меры сходства. Меры качества
рекомендаций: средняя абсолютная ошибка (MAE), точность и полнота.
8. Кластеризация на графах. Спектральная кластеризация. Спектральная кластеризация
двудольного графа и бикластеризация (на примере объектно-признаковой
бикластеризации).
3
9. Предмет и задачи машинного обучения и разработки данных (data mining). Таксономия
методов. Примеры задач.
Литература
1. T. Mitchell. Machine Learning. 1997
2. J. Han and M. Kamber. Data Mining: Concepts and Techniques. 2012 (2006)
3. I. Witten, Eibe Frank and M.Hall. Data Mining: Practical Machine Learning Tools and Techniques. 2011
4
Вопросы специализации «Анализ и принятие решений»
1. Математическая модель проблемной ситуации. Классификации задач принятия решений. Основные
понятия математической теории измерений. Измерение как построение числовой модели признака.
Шкала; основные типы шкал. Адекватные утверждения. Количественные и качественные признаки
(критерии).
2. Математическая модель предпочтений; функция ценности (полезности), бинарные отношения
предпочтения и безразличия, функция выбора. Ординальные и кардинальные функции ценности.
Формирование решений; наилучшие и недоминируемые варианты; l-наилучшие и l-недоминируемые
варианты. Принципы оптимальности и решающие правила.
3. Доминирование по Парето-Эджворту. Парето-оптимальные (эффективные) векторные оценки и
варианты, их свойства. Устойчивость множества Парето-Эджворта, особенности его структуры.
Построение и аппроксимация множества Парето-Эджворта. Метод «стоимость-эффективность».
4. Сведéние многокритериальных задач к однокритериальным (скаляризация). Методы SMART,
SMARTS. Метод главного критерия. Метод обобщенного критерия.
5. Целевое программирование; сведéние задачи целевого программирования при линейных критериях
и ограничениях к задаче линейного программирования.
6. Метод анализа иерархий (AHP). Иерархическая структура целей, критериев и вариантов.
Оценивание коэффициентов весомости критериев и значений критериев для вариантов по
результатам парных сравнений; расчет векторов приоритетов; оценка степени согласованности
результатов парных сравнений.
7. Принятие решений в условиях полной неопределенности. Принципы оптимальности (критерии
выбора решений): Вальда (гарантированного результата, максимина, или пессимизма),
лексикографического максимина; оптимизма (максимакса), лексикографического максимакса;
Гурвича (пессимизма-оптимизма); Сэвиджа (максимина, сожаления); Бернулли-Лапласа
(недостаточного основания). Понятие об аксиоматическом задании принципов.
8. Принятие коллективных решений. Задача Эрроу. Проблема манипулирования. Механизмы принятия
решений. Обобщенные паросочетания. Гиперотношения в задаче выбора.
Литература
Айзерман М.А., Алескеров Ф.Т. Выбор вариантов (основы теории). М., Наука, 1990.
Алескеров Ф.Т., Хабина Э.Л., Шварц Д.А. Бинарные отношения, графы и коллективные решения / Учебное
пособие. М.: ГУ-ВШЭ, 2006. Гл. 3.
3. Кини Р., Райфа Х. Принятие решений при многих критериях: предпочтения и замещения / Пер. с англ. М.: Радио
и связь, 1981. Гл. 1. (Хрестоматия 2, С. 3 – 22).
4. Ларичев О.И. Теория и методы принятия решений / Учебник. М.: Логос, 2002.
5. Лотов А.В., Поспелова И.И. Конспект лекций по теории и методам многокритериальной оптимизации. М.: МГУ,
2006. §§ 3, 5, 6.
6. Льюс Р., Райфа Х. Игры и решения. Введение и критический обзор. М.: ИЛ, 1961. Гл. 13. (Хрестоматия 1, С. 137
– 177).
7. Подиновский В.В. Математическая теория выработки решений в сложных ситуациях / Учебник. М.: МО СССР,
1981. § 1.4. (Хрестоматия 2, С. 167 – 227).
8. Подиновский В.В., Потапов М.А. Методы анализа и системы поддержки принятия решений / Учебное пособие
(МФТИ). М.: Спутник плюс, 2003. § 2.3.
9. Саати Т. Принятие решений. Метод анализа иерархий. М.: Радио и связь, 1993. Ч. 1. (Хрестоматия 2, С. 95 –
148).
10. Штойер Р. Многокритериальная оптимизация. Теория, вычисления и приложения. М.: Радио и связь, 1992. Гл.
10. (Хрестоматия 2, С. 75 – 81).
1.
2.
5
Вопросы специализации «Анализ Интернет-данных»
Алгоритмы и структуры данных для поиска
1. Метод «разделяй и властвуй». Алгоритм Merge-Sort. Слияние двух упорядоченных списков. Оценка
сложности. K-way Merge-Sort для работы во внешней памяти. Сортировка слиянием без
использования дополнительной памяти.
2. Двоичная куча. Операция просеивания вниз и вверх. Реализация операций вставки, удаления и
поиска минимума. Преобразование произвольного массива ключей в кучу (операция Make-Heap),
линейность времени работы. Алгоритм сортировки Heap-Sort.
3. Хеш-функции. Коллизии. Разрешение коллизий методом цепочек, методом последовательных проб
и методом двойного хеширования. Гипотеза простого равномерного хеширования, оценка средней
длины цепочки. Универсальные семейства хеш-функций, оценка средней длины цепочки.
Построение универсального семейства для целочисленных ключей. Совершенные хеш-функции.
4. Определение дерева поиска. Вставка и удаление элементов. Inorder-обход дерева. Красно черные
деревья: определение и основные свойства. Реализация операций вставки для красно-черного
дерева.
5. Графы: основные определения, обозначения и способы хранения. Обход в ширину и его
использование для нахождения кратчайших путей. Обход в глубину и его основные свойства.
Эйлеровы обходы графов. Построение эйлерового обхода с помощью варианта обхода в глубину.
Дерево обхода в глубину. Классификация дуг графа относительно дерева обхода в глубину (дуги
дерева, обратные, прямые, перекрестные).
6. Кратчайшие пути в графе, примеры функции длин. Оценки расстояний и их релаксация. Алгоритмы
Форда-Беллмана и Флойда. Алгоритм Дейкстры. Анализ сложности алгоритма Дейкстры.
7. Минимальные остовные деревья. Задача об оптимальном остовном дереве. Хорошие множества,
лемма о минимальном ребре в разрезе. Алгоритмы Краскала, Прима и Борувки. Оценки сложности.
8. Задача поиска подстроки в строке: различные варианты постановки. Наивный алгоритм. Префиксфункция: определение и свойства. Построение префикс-функции за линейное время. Алгоритм
Кнута-Морриса-Пратта.
9. Дерево (trie) Ахо-Корасик. Алгоритм его построения. Оценка сложности алгоритма. Алгоритм Ахо-Корасик для множественного поиска подстрок. Оценка сложности.
10. Конечные автоматы, основные понятия. Конечно-автоматные множества и регулярные множества.
11. Распределения вероятностей на множестве слов данной длины в данном алфавите. Модель
Бернулли, Марковские модели заданного порядка, скрытые Марковские модели (СММ). СММ и
графы. Развертка графа СММ. Траектории Восстановление последовательности состояний по
последовательности наблюдаемых символов. Алгоритмы Витерби и forward-backward algorithm.
Связь с методом динамического программирования.
12. Оценка параметров скрытой Марковской модели. EM-алгоритм. Алгоритм Баума-Велша.
13. Вероятностная постановка задачи классификации. Основные понятия: априорная вероятность,
апостериорная вероятность, функция правдоподобия класса. Функционал среднего риска. Ошибки
первого и второго рода. Оптимальный байесовский классификатор. Оценивание плотности
распределения: три основных подхода. Наивный байесовский классификатор.
14. Оптимальная разделяющая гиперплоскость. Понятие зазора между классами (margin). Случаи
линейной разделимости и отсутствия линейной разделимости. Связь с минимизацией
регуляризованного эмпирического риска. Кусочно-линейная функция потерь. Задача квадратичного
программирования и двойственная задача. Понятие опорных векторов.
6
Вопросы специализации «Технологии моделирования сложных
систем»
Предсказательное моделирование
1. Элементы теории статистических решений как теоретической основы предсказательного
моделирования. Основные понятия и результаты (пространства состояний, наблюдений, решений,
действий; решающие функции; функции потерь и функции риска; наилучшие и допустимые
решающие функции; полные классы; множества Парето; минимаксный и байесовский риски;
байесовские решающие функции).
2. Элементы теоретической математической статистики: проверка статистических гипотез (простые и
сложные гипотезы; критерии; уровень значимости и функции мощности; наиболее мощные критерии
и теорема Неймана-Пирсона; критерии для проверки гипотез о параметрах нормального
распределения; непараметрические критерии).
3. Элементы теоретической математической статистики: теория статистического оценивания (оценки и
их меры качества; несмещенные оценки и оценки с наименьшей дисперсией; неравенство РаоКрамера; оценки параметров нормального распределения; оценки плотности и функции
распределения).
4. Исключение резко выделяющихся наблюдений (различные критерии).
5. Основные модели многомерных данных. Частные и условные распределения. Многомерное
нормальное распределение. Распределение линейных комбинаций и квадратичных форм от
компонент многомерного нормального вектора.
6. Основные модели многомерных данных. Зависимости между компонентами многомерного
нормального вектора. Частные и множественные коэффициенты корреляции. Теорема о
нормальной корреляции.
7. Линейный регрессионный анализ. Обычный и обобщенный методы наименьших квадратов.
Геометрическая интерпретация. Оценивание ошибок линейной модели. Проверка гипотез о
параметрах линейной модели. Доверительные интервалы.
8. Факторный анализ, корреляционный анализ, дисперсионный анализ – основные задачи и их
решения.
9. Задачи фильтрации. Метод Калмана-Бьюсси.
10. Модели временных рядов. Модели авторегрессии и скользящего среднего.
11. Постановка линейной задачи снижение размерности. Методы Многомерного шкалирования и
Главных компонент
12. Постановка нелинейной задачи снижение размерности. Обзор нелинейных методов снижения
размерности.
13. Нелинейные методы восстановления зависимостей. Ядерные методы (кригинг).
14. Модели теории массового обслуживания.
15. Элементы теории игр.
Литература
1.
2.
3.
4.
5.
6.
Закс Ш. Теория статистических выводов. М.: Мир, 1975.
Крамер Г. Математические методы статистики. М.: Мир, 1975.
Андерсон Т. Введение в многомерный статистический анализ. М.: Физматгиз, 1963.
Себер Дж. Линейный регрессионный анализ. М.: Мир, 1980.
Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Основы моделирования и первичная
обработка данных. М.: Финансы и статистика, 1983.
Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Исследование зависимостей. М.: Финансы и
статистика, 1985.
7
Айвазян С.А., Бухштабер В.М., Енюков С.А., Мешалкин Л.Д. Прикладная статистика. Классификация и снижение
размерности. М.: Финансы и статистика, 1989.
8. Бокс Дж., Дженкинс Г. Анализ временных рядов, прогноз и управление. М: Мир, 1974.
9. Гнеденко Б. В., Коваленко И. Н. Введение в теорию массового обслуживания. М.: Наука, 1966.
10. Оуэн Г. Теория игр. М.: Мир, 1971.
7.
Математические основы современных телекоммуникаций
1. Общая структура системы связи. Факторы, влияющие на качество связи Стратегии приема.
Различные трактовки понятия. Стратегии приема и различные трактовки понятия «канал».
2. Информация и неопределенность. Энтропия как мера неопределенности. Собственная
информация, связь информации и энтропии.
3. Представление сигнала в виде комплексной функции. Гильбертово пространство. Преобразование
Фурье. Ортогонализация Грамма-Шмидта.
4. Теорема Котельникова. Цифровая модуляция: несущая и модулирующий сигнал, различные методы
модуляции (ASK, PSK, QAM).
5. Быстрое преобразование Фурье: алгоритм Кули-Тьюки и его сложность.
6. Мультиплексирование с использованием ортогональных частот (OFDM) и его использование в
современных системах связи. Достоинства и недостатки использования технологии OFDM.
7. Математические модели беспроводных каналов связи. Цифровой фильтр (линии задержки с
отводами) как общая модель радиоканала с замираниями.
8. Задача множественного доступа. Модели систем множественного доступа: модель с центральным
узлом и модель без центрального узла. Прямой и обратный каналы и методы их разделения (TDD и
FDD).
9. Кодовые методы разделения пользователей в системах множественного доступа. Причины
использования кодовых методов. Использование последовательностей с низкой корреляцией (DS
CDMA) и псевдослучайной перестройки рабочих частот (FH CDMA) для разделения пользователей
в системах множественного доступа.
10. Методы случайного доступа. ALOHA. Разрешение коллизий: древовидный алгоритм КапетанакисаЦыбакова-Михайлова. Случайный доступ с прослушиванием: CSMA.
11. Сети передачи данных. Использование методов теории графов для исследования сетей передачи
данных: оценка пропускной способности сети через вычисление максимального потока в сети
(теорема Форда-Фалкерсона), использование алгоритма Дейкстры для решения задач
маршрутизации.
Литература
1.
2.
3.
4.
5.
6.
7.
Кудряшов, Б. Д. Теория информации: учебник для вузов. СПб.: Питер, 2009.
Галлагер Р. Теория информации и надежная связь. М.: Сов. радио, 1974.
Прокис Дж. Цифровая связь. М.: Радио и связь, 2000.
Glisic S. Advanced Wireless Communications: 4G Cognitive and Cooperative Broadband Technology, 2nd Ed., John
Wiley & Sons. Chichester, UK, 2007.
Molisch A. F. Wireless Communications, 2nd Ed., John Wiley & Sons. Chichester, UK, 2011.
Кристофидес Н. Теория графов. Алгоритмический подход. М.: Мир, 1978.
Майника Э. Алгоритмы оптимизации на сетях и графах. М.: Мир, 1981.
Теоретико-вероятностные методы математического моделирования
1. Закон больших чисел.
2. Центральная предельная теорема.
3. Распределения, устойчивые относительно сложения и максимизации.
8
4. Относительная энтропия. Принцип больших уклонений в схеме Бернулли с конечным числом
исходов (теорема Санова).
5. Принцип больших уклонений для суммы непрерывных случайных величин (теорема Крамера).
6. Конечные однородные цепи Маркова. Классификация состояний.
7. Стационарное распределение неприводимой ациклической цепи Маркова. Скорость сходимости и
спектр матрицы переходных вероятностей.
8. Случайное блуждание по числовой прямой и броуновское движение. Момент первого достижения
границы одномерным броуновским движением.
9. Понятие о стохастическом интегрировании. Формула Ито. Диффузионный процесс. Уравнение
Фоккера-Планка.
10. Процесс Пуассона.
Литература
1.
2.
3.
4.
Феллер В. Введение в теорию вероятностей и ее приложения. В 2-х тт. Пер. с англ. Ю. В. Прохорова с предисл.
А. Н. Колмогорова. М.: Мир, 1984.
Ширяев А. Н. Вероятность. В 2-х кн. М.: МЦНМО, 2004.
Гнеденко Б. В. Курс теории вероятностей. М.: Физматгиз, 1969.
Вероятность и математическая статистика. Энциклопедия. Гл. ред. Ю. В. Прохоров. М.: Большая Российская
энциклопедия, 1999.
9