Байесовские методы статистического оценивания

МИНИСТЕРСТВО НАУКИ И ОБРАЗОВАНИЯ РОССИСКОЙ ФЕДЕРАЦИИ
Федеральное государственное автономное образовательное учреждение
высшего профессионального образования
«Московский физико-технический институт (государственный университет)»
МФТИ
«УТВЕРЖДАЮ»
Проректор по учебной и методической работе
_______________ Д.А. Зубцов
«___»______________ 20___ г.
Рабочая программа дисциплины (модуля)
по дисциплине:
по направлению:
профиль подготовки/
магистерская программа:
факультет:
кафедра:
курс:
квалификация:
Байесовские методы статистического оценивания
Прикладные математика и физика (магистратура)
Интеллектуальный анализ данных
управления и прикладной математики
проблем передачи информации и анализа данных
1
магистр
Семестр, формы промежуточной аттестации: 9 (Осенний) - Экзамен
Аудиторных часов: 34 всего, в том числе:
лекции: 34 час.
практические (семинарские) занятия: 0 час.
лабораторные занятия: 0 час.
Самостоятельная работа: 5 час. всего, в том числе:
задания, курсовые работы: 0 час.
Подготовка к экзамену: 30 час.
Всего часов: 69, всего зач.ед.: 2
Программу составили: А.А. Зайцев, ассистент, Ю.А. Янович, ассистент, Е.В. Бурнаев, кандидат
физико-математических наук, доцент
Программа обсуждена на заседании кафедры
14 мая 2014 года
СОГЛАСОВАНО:
Заведующий кафедрой
А.П. Кулешов
Декан факультета управления и прикладной математики
А.А. Шананин
Начальник учебного управления
И.Р. Гарайшина
1. Цели и задачи
Цель дисциплины
Дать представление о современном состоянии байесовской статистики и ее использовании в
анализе данных.
Задачи дисциплины
- изучение байесовского подхода и его теоретического обоснования;
- практическое применение байесовского подхода в задачах анализа данных.
2. Место дисциплины (модуля) в структуре образовательной программы бакалавриата (магистратуры
Дисциплина «Байесовские методы статистического оценивания» включает в себя разделы,
которые могут быть отнесены к вариативной части цикла М.1.
Дисциплина «Байесовские методы статистического оценивания» базируется на дисциплинах:
Функциональный анализ;
Математическая статистика;
Статистическая теория машинного обучения;
Основы статистического моделирования и исследование зависимостей;
Прикладные пакеты статистического анализа данных.
3. Перечень планируемых результатов обучения по дисциплине (модулю), соотнесенных с планируемыми результатами освоения образовательной
Освоение дисциплины «Байесовские методы статистического оценивания» направлено на формирование следующих общекультурных, общепрофессиональных и профессиональных компетенций бакалавра/магистра:
способность применять теорию и методы математики для построения качественных и
количественных моделей объектов и процессов в естественной сфере деятельности (ОПК-2);
способность понимать ключевые аспекты и концепции в области специализации (ОПК-3);
способность выбирать и применять подходящее оборудование, инструменты и методы
исследований для решения задач в избранной предметной области (ПК-3);
способность критически оценивать применимость применяемых методик и методов (ПК-4).
В результате освоения дисциплины обучающиеся должны
знать:
- основы байесовского подхода;
- подходы к приближенному байесовскому выводу;
- асимптотические и неасимптотические результаты в байесовской статистике;
- основы непараметрической байесовской статистики;
- примеры использования байесовской статистики в прикладных задачах;
уметь:
- производить байесовский вывод;
- использовать аппарат байесовской статистики в прикладных задачах;
- выбирать априорное распределение;
- использовать аппарат непараметрической байесовской статистики;
владеть:
- навыком освоения большого объема информации;
2
- навыками постановки научно-исследовательских задач и навыками самостоятельной
работы.
4. Содержание дисциплины (модуля), структурированное по темам (разделам) с указанием отведенного на них количества академических часов и видов учебных занятий
4.1. Разделы дисциплины (модуля) и трудоемкости по видам учебных занятий
№
Тема (раздел) дисциплины
Параметрическая Байесовская
статистика
Использование Байесовской
2
статистики в машинном обучении
Непараметрическая Байесов3
ская статистика
Регрессия на основе Гауссов4
ских процессов
Итого часов
Общая трудоёмкость
1
Виды учебных занятий, включая самостоятельную работу
Практич.
Задания,
Лаборат.
Самост.
Лекции
(семинар.)
курсовые
работы
работа
занятия
работы
8
2
10
1
8
1
8
1
34
39 час., 1 зач.ед.
5
4.2. Содержание дисциплины (модуля), структурированное по темам (разделам)
Семестр: 9 (Осенний)
1. Параметрическая Байесовская статистика.
Отличие байесовского подхода к статистическому обучению от вероятностного. Семейства
вероятностных распределений. Выбор априорного распределения и классификация априорных распределений. Теорема Басу. Теорема Де Финетти. Асимптотическая нормальность апостериорного распределения (теореме Бернштейна-фон-Мизеса).
2. Использование Байесовской статистики в машинном обучении.
Примеры использования Байесовского подхода для решения задачи регрессии и классификации: машина релевантных векторов, Байесовская логистическая регрессия. Аналитические
подходы к приближенному Байесовскому выводу: аппроксимация Лапласа, вариационный
вывод. Подходы на основе метода Монте-Карло к приближенному Байесовскому выводу: выборка с отклонением, алгоритм Метрополиса-Хастингса.
3. Непараметрическая Байесовская статистика.
Пространство априорных распределений в непараметрическом случае. Расстояния между
распределениями в непараметрическом случае. Распределение Дирихле. Случайный процесс
Дирихле. Теоремы о свойствах непараметрических Байесовских оценок.
4. Регрессия на основе Гауссовских процессов.
3
Регрессия на основе Гауссовских процессов. Использование приближенного Байесовского
вывода для классификации на основе Гауссовских процессов и гетероскедастичной регрессии
на основе Гауссовских процессов. Адаптивное планирование эксперимента и суррогатная оптимизация на основе Гауссовских процессов. Теорема Бернштейна-фон-Мизеса для регрессии на основе Гауссовских процессов. Гауссовские процессы с точки зрения непараметрической Байесовской статистики.
5. Описание материально-технической базы, необходимой для осуществления образовательного процесса по дисциплине (модулю)
Учебная аудитория, оснащенная мультимедийным оборудованием (проектор или плазменная
панель), доской.
6. Перечень основной и дополнительной литературы, необходимой для освоения дисциплины
(модуля)
Основная литература
1. Bishop C.M. Pattern recognition and machine learning. New York: Springer, 2006. Vol. 4. - 738
рp.
2. Ghosh J.K., Mohan D., Tapas S. An Introduction to Bayesian analysis. New York: Springer, 2006.
- 366 p.
3. Ghosh J.K., Ramamoorthi R.V. Bayesian nonparametrics. Springer, 2003. - 324 p.
4. Kleijn B., A. van der Vaart, H. van Zanten. Lectures on Nonparametric Bayesian Statistics.
Springer, 2013.
5. Lazaro-Gredilla M., Titsias M. Variational heteroscedastic Gaussian process regression. ICML,
2011.
6. MacKay D.J.C. Information theory, inference and learning algorithms. Cambridge university
press, 2005. - 640 p.
7. Rasmussen C.E., Williams C.K.I. Gaussian processes for machine learning. Cambridge-London:
The MIT Press, 2006. Vol. 1. - 266 p.
8. Spokoiny V. Basics of Modern Parametric Statistics. Springer, 2013. - 239 p.
9. Wasserman L. All of statistics: a concise course in statistical inference. Springer, 2003. - 442 p.
7. Перечень учебно-методического обеспечения для самостоятельной работы обучающихся по
дисциплине (модулю)
1. Kleijn B., A. van der Vaart, H. van Zanten. Lectures on Nonparametric Bayesian Statistics.
Springer, 2013.
2. MacKay D.J.C. Information theory, inference and learning algorithms. Cambridge university
press, 2003. - 640 р.
8. Перечень ресурсов информационно-телекоммуникационной сети «Интернет», необходимых
для освоения дисциплины (модуля)
9. Перечень информационных технологий, используемых при осуществлении образовательного процесса по дисциплине (модулю), включая перечень программного обеспечения и информационных справочных систем (при необходимости)
На лекционных занятиях используются мультимедийные технологии, включая демонстрацию
презентаций.
4
10. Методические указания для обучающихся по освоению дисциплины
Студент, изучающий дисциплину, должен, с одной стороны, овладеть общими понятийным
аппаратом, а с другой стороны, должен научиться применять теоретические знания на практике.
В результате изучения дисциплины студент должен знать основные определения, понятия,
аксиомы, методы доказательств.
Успешное освоение курса требует напряженной самостоятельной работы студента. В программе курса отведено минимально необходимое время для работы студента над темой. Самостоятельная работа включает в себя:
- чтение и конспектирование рекомендованной литературы;
- проработку учебного материала (по конспектам занятий, учебной и научной литературе),
подготовку ответов на вопросы, предназначенные для самостоятельного изучения, доказательство отдельных утверждений, свойств, решение задач;
- подготовка к экзамену.
Руководство и контроль за самостоятельной работой студента осуществляется в форме индивидуальных консультаций.
Важно добиться понимания изучаемого материала, а не механического его запоминания. При
затруднении изучения отдельных тем, вопросов следует обращаться за консультациями к лектору.
11. Фонд оценочных средств для проведения промежуточной аттестации по итогам обучения
Приложение.
5
ПРИЛОЖЕНИЕ
ФОНД ОЦЕНОЧНЫХ СРЕДСТВ
ДЛЯ ПРОВЕДЕНИЯ ПРОМЕЖУТОЧНОЙ АТТЕСТАЦИИ ОБУЧАЮЩИХСЯ
ПО ДИСЦИПЛИНЕ
«Байесовские методы статистического оценивания»
1. Перечень типовых контрольных заданий, используемых для оценки знаний, умений, навыков
Перечень контрольных вопросов к экзамену:
1. Байесовский вывод. Сравнение байесовского и вероятностного подходов.
2. Выбор априорного распределения. Виды априорных распределений.
3. Асимптотические результаты в байесовской статистике.
4. Неасимптотические результаты в байесовской статистике. Теорема Бернштейна-фон Мизеса.
5. Аналитические подходы к приближенному байесовскому выводу.
6. Подходы на основе методов Монте-Карло к приближенному байесовскому выводу.
7. Использование байесовского вывода в анализе данных.
8. Априорные распределения в непараметрической байесовской статистике. Случайный процесс Дирихле.
9. Свойства непараметрических байесовских оценок.
10. Регрессия и классификация на основе гауссовских случайных процессов.
11. Оценки риска для регрессии на основе гауссовских случайных процессов.
2. Критерии оценивания
Оценка
Баллы
10
отлично
9
8
хорошо
7
Критерии
Выставляется студенту, показавшему всесторонние, систематизированные, глубокие знания учебной программы дисциплины,
проявляющему интерес к данной предметной области, продемонстрировавшему умение уверенно и творчески применять их на
практике при решении конкретных задач, свободное и правильное
обоснование принятых решений.
Выставляется студенту, показавшему всесторонние, систематизированные, глубокие знания учебной программы дисциплины
и умение уверенно применять их на практике при решении конкретных задач, свободное и правильное обоснование принятых
решений.
Выставляется студенту, показавшему систематизированные,
глубокие знания учебной программы дисциплины и умение уверенно применять их на практике при решении конкретных задач,
правильное обоснование принятых решений, с некоторыми недочетами.
Выставляется студенту, если он твердо знает материал, грамотно и по существу излагает его, умеет применять полученные
знания на практике, но недостаточно грамотно обосновывает полученные результаты.
6
6
5
4
удовлетворительно
3
2
неудовлетворительно
1
Выставляется студенту, если он твердо знает материал, грамотно и по существу излагает его, умеет применять полученные
знания на практике, но допускает в ответе или в решении задач
некоторые неточности.
Выставляется студенту, если он в основном знает материал,
грамотно и по существу излагает его, умеет применять полученные знания на практике, но допускает в ответе или в решении задач достаточно большое количество неточностей.
Выставляется студенту, показавшему фрагментарный, разрозненный характер знаний, недостаточно правильные формулировки базовых понятий, нарушения логической последовательности в изложении программного материала, но при этом он освоил
основные разделы учебной программы, необходимые для дальнейшего обучения, и может применять полученные знания по образцу в стандартной ситуации.
Выставляется студенту, показавшему фрагментарный, разрозненный характер знаний, допускающему ошибки в формулировках базовых понятий, нарушения логической последовательности в изложении программного материала, слабо владеет основными разделами учебной программы, необходимыми для дальнейшего обучения и с трудом применяет полученные знания даже
в стандартной ситуации.
Выставляется студенту, который не знает большей части основного содержания учебной программы дисциплины, допускает
грубые ошибки в формулировках основных принципов и не умеет
использовать полученные знания при решении типовых задач.
Выставляется студенту, который не знает основного содержания учебной программы дисциплины, допускает грубейшие
ошибки в формулировках базовых понятий дисциплины и вообще
не имеет навыков решения типовых практических задач.
3. Методические материалы, определяющие процедуры оценивания знаний, умений, навыков
и (или) опыта деятельности
Экзамен проводится в устной форме.
При проведении устного экзамена обучающемуся предоставляется 30 минут на подготовку. Опрос
обучающегося по билету на устном экзамене не должен превышать двух астрономических часов.
Во время проведения экзамена обучающиеся могут пользоваться программой дисциплины, а также
справочной литературой, вычислительной техникой и проч.
7