Нейронные сети

УТВЕРЖДАЮ
Проректор-директор ИК
___________Сонькин М.А.
«___»_____________2011 г.
РАБОЧАЯ ПРОГРАММА ДИСЦИПЛИНЫ
НЕЙРОННЫЕ СЕТИ
НАПРАВЛЕНИЕ ООП 230100 Информатика и вычислительная техника
ПРОГРАММА ПОДГОТОВКИ Компьютерный анализ и интерпретация
данных
КВАЛИФИКАЦИЯ (СТЕПЕНЬ)
магистр
БАЗОВЫЙ УЧЕБНЫЙ ПЛАН ПРИЕМА
2011 г.
КУРС 2 СЕМЕСТР 3
КОЛИЧЕСТВО КРЕДИТОВ
3 кредита ECTS
ПРЕРЕКВИЗИТЫ Б2.Б3; Б2.В1.3; Б2.В2; Б3.В1; М1.Б1; М2.В.2.1
КОРЕКВИЗИТЫ М2.В.2.2; М2.В.2.3; М2.В.2.6
ВИДЫ УЧЕБНОЙ ДЕЯТЕЛЬНОСТИ И ВРЕМЕННОЙ РЕСУРС:
Лекции
27 час.
Лабораторные занятия
27 час.
АУДИТОРНЫЕ ЗАНЯТИЯ
54 час.
САМОСТОЯТЕЛЬНАЯ РАБОТА
36 час.
ИТОГО
90 час.
ФОРМА ОБУЧЕНИЯ
дневная
ВИД ПРОМЕЖУТОЧНОЙ АТТЕСТАЦИИ
зачет, экзамен
ОБЕСПЕЧИВАЮЩЕЕ ПОДРАЗДЕЛЕНИЕ
кафедра ВТ
ЗАВЕДУЮЩИЙ КАФЕДРОЙ
Марков Н.Г., профессор
РУКОВОДИТЕЛЬ ООП (МП)
Чередов А.Д., доцент
РУКОВОДИТЕЛЬ МП (КАИД)
Спицын В.Г., профессор
ПРЕПОДАВАТЕЛЬ
Спицын В.Г., профессор
2011 г.
1. Цели освоения дисциплины
Цель данной дисциплины – дать систематический обзор моделей
современных биологических и искусственных нейронных сетей, изучить и
освоить способы их применения для обработки информации и распознавания
образов:
Поставленные цели полностью соответствуют целям (Ц1-Ц5) ООП.
2. Место дисциплины в структуре ООП
Дисциплина «Нейронные сети» (М2.В.2.4) является вариативной
профессионального цикла (М2.В) магистерской программы подготовки
“Компьютерный анализ и интерпретация данных”
(М2.В.2). Для её
успешного усвоения необходимы знания по дисциплинам: “Математика” –
Б2.Б3, “Теория вероятностей и математическая статистика”– Б2.В1.3,
“Математическая логика и теория алгоритмов”– Б2.В2, “Программирование
на языке высокого уровня”– Б3.В1, “Интеллектуальные системы”– М1.Б1,
“Нейроэволюционные вычисления”– М2.В.2.1.
К моменту начала обучения по дисциплине студент должен знать
элементы математического анализа, теории вероятностей и математической
логики, уметь программировать на С++. Указанные знания потребуется для
освоения теоретических разделов курса и составления программ при
выполнении лабораторных работ.
3. Результаты освоения дисциплины
В результате освоения дисциплины студент должен/будет выполнять
инновационные инженерные проекты по разработке аппаратных и
программных средств автоматизированных систем различного назначения с
использованием
современных
методов
проектирования,
систем
автоматизированного проектирования, передового опыта разработки
конкурентно способных изделий (Р4);
знать:
Современные модели биологических и искусственных нейронных сетей,
способы их применения для обработки информации и распознавания образов
(З.4.1.2):
- модели биологических нейронных сетей (З.4.1.2.1);
- модели искусственных нейронных сетей (З.4.1.2.2);
- способы применения моделей нейронных сетей для обработки
информации и распознавания образов (З.4.1.2.3);
уметь:
ставить задачи и разрабатывать алгоритмы их решения для осуществления
программных реализаций нейронных сетей с целью обработки статических и
видео изображений (У.4.1.2):
- применять различные модели нейронных сетей при решении задач
обработки информации (У.4.1.2.1);
- разрабатывать программные реализации нейронных сетей с целью
обработки статических и видео изображений (У.4.1.2.2);
владеть:
технологиями применения математических
методов и практическими
навыками нейросетевой обработки больших объемов пространственновременных данных (В.4.1.2).
В процессе освоения дисциплины у студентов развиваются следующие
компетенции:
1.Универсальные (общекультурные)
стремление к саморазвитию, повышению своей квалификации и мастерства
(ОК-4; ФГОС):
- использует на практике умения и навыки в организации
исследовательских и проектных работ, в управлении коллективом (ОК-4);
2. Профессиональные:
Выпускник
должен
обладать
следующими
профессиональными
компетенциями (ПК):
проектно-конструкторская деятельность:
- разрабатывать и реализовывать планы информатизации предприятий
и их подразделений на основе Web- и CALS-технологий (ПК-3);
- формировать технические задания и участвовать в разработке
аппаратных и/или программных средств вычислительной техники (ПК-4);
- выбирать методы и разрабатывать алгоритмы решения задач
управления и проектирования объектов автоматизации (ПК-5);
- применять современные технологии разработки программных
комплексов с использованием CASE-средств, контролировать качество
разрабатываемых программных продуктов (ПК-6);
4. Структура и содержание дисциплины
4.1 Аннотированное содержание разделов дисциплины:
1. Введение
Цель и задачи дисциплины, ее роль и место в общей системе
подготовки специалиста. Биологические предпосылки возникновения
искусственных нейронных сетей. Структура человеческого мозга.
Организация памяти в коре человеческого мозга. Ритмы колебаний больших
нейронных ансамблей. Биологически правдоподобные модели нейронов.
Модели визуального восприятия.
2. Искусственные нейронные сети
Типы функций активации нейронов. Представление нейронных сетей с
помощью направленных графов. Архитектура сетей. Сети прямого
распространения. Рекуррентные сети. Обучение нейронных сетей. Обучение,
основанное на коррекции ошибок. Обучение на основе памяти. Обучение
Хебба. Математические модели предложенного Хеббом механизма
модификации синаптической связи. Конкурентное обучение. Обучение
Больцмана. Обучение с учителем. Обучение с подкреплением. Обучение без
учителя.
3. Однослойные и многослойные перцептроны
Однослойный
перцептрон.
Обучение
перцептрона.
Методы
безусловной оптимизации. Метод наискорейшего спуска. Метод Ньютона.
Метод Гаусса-Ньютона. Взаимосвязь персептрона и байесовского
классификатора. Многослойный перцептрон. Алгоритм обратного
распространения ошибки. Извлечение признаков. Линейный дискриминант
Фишера. Сети свертки.
4. Сети на основе радиальных базисных функций.
Теорема Ковера о разделимости множеств. Разделяющая способность
поверхности. Задача интерполяции. Теория регуляризации. Функция Грина.
Решение задачи регуляризации. Многомерные функции Гаусса. Обобщенные
сети на основе радиальных базисных функций. Свойства аппроксимации
сетей RBF. Сравнение сетей RBF и многослойных персептронов.
5. Машины опорных векторов.
Оптимальная гиперплоскость для линейно-разделимых образов.
Оптимальная гиперплоскость для неразделимых образов. Архитектура
машины опорных векторов. Машины опорных векторов для задач
нелинейной регрессии.
6. Анализ главных компонентов
Анализ признаков на основе самоорганизации. Структура анализа
главных компонентов. Представление данных. Сокращение размерности.
Фильтр Хебба для выделения максимальных собственных значений. Анализ
главных компонентов на основе правила Хебба.
7. Карты самоорганизации Кохонена
Модели отображения признаков. Карты самоорганизации. Процессы
конкуренции, кооперации и адаптации. Варианты самоорганизующихся
карт. Адаптивные тензорные веса. Самоорганизующиеся карты для
символьных строк. Самоорганизующиеся карты с эволюционным обучением.
Пакеты программ, реализующие самоорганизующиеся карты.
8. Нейродинамические модели
Динамические системы. Пространство состояний. Условие Лившица.
Теорема о дивергенции. Устойчивость состояний равновесия. Теоремы
Ляпунова. Гиперболические аттракторы. Аддитивная и связанная
нейродинамические модели. Модель Хопфилда. Теорема Коэна-Гроссберга.
9. Биологически-правдоподобные модели нейронных сетей.
Нейробиологические модели визуальной коры головного мозга.
Биологически реалистичная модель зрения HMAX. Модель иерархической
временной памяти HTM. Осцилляторные нейронные сети.
4.2 Структура дисциплины по разделам и видам учебной деятельности
Таблица 1.
Структура модуля (дисциплины)
по разделам и формам организации обучения
Название раздела/темы
1. Введение
2.
3.
4.
5.
6.
7.
8.
9.
Итого
Аудиторная работа (час)
Лекци Практ./сем.
Лаб. зан.
и
Занятия
СРС
(час)
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
4
4
4
4
4
4
4
4
4
27
27
36
Колл,
Ито
Контр.Р. го
10
10
10
10
10
10
10
10
10
КP-1
Кл-1
КP-2
Кл-2
90
4.3 Распределение компетенций по разделам дисциплины
Таблица 2.
Распределение по разделам дисциплины планируемых результатов обучения
№
1.
2.
3.
4.
5.
6.
Формируемые
компетенции
З.1.2.1
З.1.2.2
З.1.2.3
У.1.2.1
У.1.2.2
В.1.2
1
2
#
#
3
Разделы дисциплины
4
5
6
7
8
9
#
#
#
#
#
#
#
#
#
#
#
#
#
#
#
#
#
#
#
#
#
#
#
#
#
5. Образовательные технологии
Таблица 3.
Методы и формы организации обучения (ФОО)
ФОО
Лекц.
Методы
IT-методы
Лаб.
раб.
#
Пр. зан./
Сем.,
Тр*.,
Мк**
СРС
#
К. пр.
Работа в команде
Case-study
Игра
Методы
проблемного
#
обучения.
Обучение
на основе опыта
Опережающая
самостоятельная
работа
Проектный метод
Поисковый метод
Исследовательский
#
метод
Другие методы
* - Тренинг, ** - Мастер-класс
#
#
#
#
#
#
#
#
#
#
6. Организация и учебно-методическое обеспечение самостоятельной
работы студентов
6.1. Самостоятельную работу студентов (СРС) можно разделить на
текущую и творческую.
Текущая СРС – Проработка лекций, изучение рекомендованной
литературы.
Творческая проблемно-ориентированная самостоятельная работа
(ТСР) – Анализ источников по темам индивидуальных занятий, поиск
существующих аналогов. Выбор программных средств для реализации
разрабатываемых алгоритмов.
6.2.
Содержание самостоятельной работы студентов по дисциплине
Самостоятельная работа организуется в двух формах:
- аудиторной (на лабораторных работах при решении поставленных и
индивидуальных задач);
- внеаудиторной (проработка лекций, изучение рекомендованной
литературы –16 часов; подготовка к выполнению лабораторных
занятий – 16 часов; оформление отчетов по лабораторным работам –
4 часа).
6.3 Контроль самостоятельной работы
Контроль результатов самостоятельной работы осуществляется при
проведении 2 письменных контрольных работ и 2 устных коллоквиумов по
проверке уровня усвоения студентом лекционного материала и проверкой
уровня теоретических знаний и практических навыков студента при
выполнении им лабораторных работ.
Учебно-методическое обеспечение самостоятельной работы
студентов
Студентам для самостоятельной работы предлагается учебно-методическое
обеспечение дисциплины в электронном виде.
6.4
7. Средства (ФОС) текущей и итоговой оценки качества освоения
дисциплины
Текущий контроль оценки качества усвоения дисциплины заключается в
проведении 2 контрольных работ и 2 коллоквиумов. Каждая контрольная
работа включает 45 вопросов, при этом каждый студент получает 4 вопроса
из этого списка.
Для каждого из двух коллоквиумов подготовлен список из 35 вопросов.
Студент должен устно в режиме реального времени ответить на 5 вопросов
из указанного списка. Во время выполнения лабораторных работ
преподаватель на основе серии контрольных вопросов проверяет
теоретические знания студента по теме лабораторной работы. Для экзамена
подготовлены 25 билетов. В каждом билете содержится 5 вопросов.
8. Учебно-методическое и информационное обеспечение дисциплины
1.
2.
2.
3.
4.
5.
6.
 Основная литература:
Хайкин С. Нейронные сети: полный курс. М.: Вильямс, 2006. - 1104 c.
Кохонен Т. Самоорганизующиеся карты. М.: БИНОМ, 2008. - 655 c.
Осовский С. Нейронные сети для обработки информации – М.:
Финансы и статистика ”, 2007. – 345 c.
Спицын В.Г., Цой Ю.Р. Представление знаний в информационных
системах: Учебное пособие. – Томск: Изд-во ТПУ, 2008. – 152 c.
Arbib M.A. The Handbook of Brain Theory and Neural Networks Oxford
Cambridge, Massachusetts, USA: MIT Press Inc., 2003. – 1301 p.
Люгер Д.Ф. Искусственный интеллект: стратегии и методы решения
сложных проблем. – М.: Издательский дом “Вильямс”, 2003. – 864 c.
Спицын В.Г., Цой Ю.Р. Применение искусственных нейронных сетей
для обработки информации: Методические указания. – Томск: Изд-во
ТПУ, 2008. – 31 c.
 Дополнительная литература:
7. Bishop C.M. Neural Networks for Pattern Recognition. New York, USA:
Oxford University Press Inc., 2005. – 251 p.
8. Acharya T., Ray A.K. Image Processing. Principles and Applications.,
Hoboken, New Jersey, USA: John Wiley & Sons, Inc., 2005. – 451 p.
9. Duda R.O., Hart P.E., Stork D.G. Pattern Classification. USA: John Wiley
& Sons, Inc., 2001. – 654 p.
10. Казанович Ю.Б. Теория временной корреляции и модели сегментации
зрительной информации в мозге (обзор) // Математическая биология
и биоинформатика. 2010. Т. 5. № 1, с. 43-97.
11. Болотова Ю.А., Спицын В.Г., Фомин А.Э. Применение модели
иерархической временной памяти в распознавании изображений //
Известия Томского политехнического университета. 2011. Т. 318. №
5. С. 60–63.
 Программное обеспечение и Internet-ресурсы:
Программные средства для выполнения лабораторных работ в среде Visual
Studio 2010.
12. http://raai.org/ – Российская ассоциация искусственного интеллекта.
13. http://www.niisi.ru/iont/ni – Российская ассоциация нейроинформатики.
14. Электронный журнал «Нейроинформатика»
http://www.niisi.ru/iont/ni/Journal/.
15. Neural Computation Journal. http://www.mitpressjournals.org/loi/neco.
16. Журнал “Neurocomputing”
http://www.elsevier.com/wps/find/journaldescription.cws_home/505628/description
17. The Journal of Neuroscience
http://www.jneurosci.org/
18. Журнал “Pattern Recognition and Image Analysis“
http://www.maik.ru/cgi-perl/journal.pl?name=patrec&page=main
9. Материально-техническое обеспечение дисциплины
Компьютерный класс – 9 персональных компьютеров с выходом в интернет.
Программа составлена на основе Стандарта ООП (МП) ТПУ в соответствии с
требованиями ФГОС по направлению 230100 Информатика и
вычислительная техника и магистерской программе подготовки
«Компьютерный анализ и интерпретация данных».
Программа одобрена на заседании кафедры ВТ
(протокол № ____ от «___» _______ 20___ г.).
Автор
_______________ Спицын В.Г.
Рецензент(ы) __________________________