Однослойный персептрон - доклад

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ
ФЕДЕРАЦИИ
Федеральное государственное бюджетное образовательное учреждение высшего
образования
«НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ МОСКОВСКИЙ
ГОСУДАРСТВЕННЫЙ СТРОИТЕЛЬНЫЙ УНИВЕРСИТЕТ»
Институт Цифровых технологий и моделирования в строительстве
Кафедра Информационных систем, технологий и автоматизации в строительстве
Реферат
по дисциплине:
«Системы искусственного интеллекта»
Тема: «Однослойный персептрон»
Выполнил студент
(институт, курс, группа)
Продан Е. С., ИЦТМС-3-8
(Ф.И.О. институт, курс, группа)
Руководитель
ст.пр. Шананин В.А.
(ученое звание, степень, должность, Ф.И.О.)
г. Москва
2023г.
2
Оглавление
Введение ................................................................................................................... 3
1. Перцептрон ........................................................................................................ 5
2. Появление перцептрона ................................................................................... 7
3. Описание элементарного перцептрона ........................................................... 9
4. Основные понятия теории перцептронов ..................................................... 11
4.1 Описание на основе сигналов ..................................................................... 11
4.2 Описание на основе предикатов ................................................................. 13
5. Историческая классификация ........................................................................ 15
6. Алгоритмы обучения ...................................................................................... 17
6.1 Обучение с учителем ................................................................................... 17
6.2 Обучение без учителя .................................................................................. 18
7. Возможности и ограничения модели ............................................................ 20
7.2 Применение перцептронов.......................................................................... 21
Заключение ............................................................................................................ 24
Библиографический список ................................................................................. 25
3
Введение
Для
понимания
однослойного
персептрона
важно
понимать
Искусственные Нейронные Сети (ANN). Искусственные нейронные сети –
это система обработки информации, механизм которой вдохновлен
функциональностью
биологических
нейронных
цепей. Искусственная
нейронная сеть обладает множеством процессорных блоков, связанных друг
с другом. Ниже приводится схематическое изображение искусственной
нейронной сети –
Рис. 1 Связи внутри персептрона
Диаграмма на Рис. 1 показывает, что скрытые блоки связываются с
внешним слоем. При этом блоки ввода и вывода обмениваются данными
только через скрытый слой сети.
Схема связи с узлами, общее количество слоев и уровень узлов между
входами и выходами с количеством нейронов на слой определяют
архитектуру нейронной сети.
4
Есть
два
типа
архитектуры. Эти
типы
ориентированы
функциональность искусственных нейронных сетей следующим образом:

Однослойный персептрон

Многослойный персептрон
на
5
1. Перцептрон
Перцептрон,
или персептрон
— математическая или компьютерная
модель восприятия информации мозгом,
предложенная Фрэнком
Розенблаттом в 1958 году и впервые реализованная в виде электронной
машины «Марк-1» в 1960 году. Перцептрон стал одной из первых
моделей нейросетей, а «Марк-1» — первым в мире нейрокомпьютером [1].
Перцептрон состоит из трёх типов элементов, а именно: поступающие
от датчиков сигналы передаются ассоциативным элементам,
а
затем
- реагирующим элементам. Таким образом, перцептроны позволяют создать
набор «ассоциаций» между входными стимулами и необходимой реакцией на
выходе. В биологическом плане это соответствует преобразованию, например,
зрительной информации в физиологический ответ от двигательных нейронов.
Согласно
современной
терминологии,
перцептроны
могут
быть
классифицированы как искусственные нейронные сети:
1.
с одним скрытым слоем;
2.
с пороговой передаточной функцией;
3.
с прямым распространением сигнала.
На фоне роста популярности нейронных сетей в 1969 году вышла
книга Марвина
Минского и Сеймура
Паперта,
которая
показала
принципиальные ограничения перцептронов. Это привело к смещению
интереса исследователей искусственного интеллекта в противоположную от
нейросетей
область символьных
вычислений.
Кроме
того,
из-за
сложности математического исследования перцептронов, а также отсутствия
общепринятой
терминологии,
возникли
различные неточности
и
заблуждения.
Впоследствии интерес к нейросетям, и в частности, работам
Розенблатта,
возобновился.
развивается биокомпьютинг,
Так,
который
например,
в
своей
сейчас
стремительно
теоретической
основе
6
вычислений, в том числе, базируется на нейронных сетях, а перцептрон
воспроизводят на основе бактериородопсин-содержащих плёнок [2].
7
2. Появление перцептрона
В 1943 году в своей статье «Логическое исчисление идей, относящихся
к нервной активности» Уоррен Мак-Каллок и Уолтер Питтс предложили
понятие искусственной нейронной сети. В частности, ими была предложена
модель искусственного нейрона. Дональд Хебб в работе «Организация
поведения» 1949 года описал основные принципы обучения нейронов.
Эти
идеи
несколько
американский нейрофизиолог Фрэнк
лет
спустя
Розенблатт.
Он
развил
предложил
схему
устройства, моделирующего процесс человеческого восприятия, и назвал его
«перцептроном».
Перцептрон
передавал
сигналы
от фотоэлементов,
представляющих собой сенсорное поле, в блоки электромеханических ячеек
памяти. Эти ячейки соединялись между собой случайным образом в
соответствии с принципами коннективизма [3]. В 1957 году в Корнеллской
Лаборатории аэронавтики было успешно завершено моделирование работы
перцептрона на компьютере IBM 704, а два года спустя, 23 июня 1960 года,
в Корнеллском
университете был
продемонстрирован
первый нейрокомпьютер — «Марк-1», который был способен распознавать
некоторые буквы английского алфавита.
Чтобы «научить» перцептрон классифицировать образы, был разработан
специальный итерационный метод обучения проб и ошибок, напоминающий
процесс обучения человека — метод коррекции ошибки. Кроме того, при
распознании той или иной буквы перцептрон мог выделять характерные
особенности буквы, статистически чаще встречающиеся, чем малозначимые
отличия
в
индивидуальных
способен обобщать буквы,
обобщённый
образ
[4].
случаях.
написанные
Однако
Тем
самым,
различным
возможности
перцептрон
образом,
был
в
один
перцептрона
были
ограниченными: машина не могла надёжно распознавать частично закрытые
буквы, а также буквы иного размера, расположенные со сдвигом или
поворотом, нежели у тех, которые использовались на этапе её обучения.
8
Отчёт по первым результатам появился ещё в 1958 году — тогда
Розенблаттом была опубликована статья «Перцептрон: Вероятностная модель
хранения и организации информации в головном мозге». Но подробнее свои
теории и предположения относительно процессов восприятия и перцептронов
он описывает 1962 году в книге «Принципы нейродинамики: Перцептроны и
теория механизмов мозга». В книге он рассматривает не только уже готовые
модели
перцептрона с одним скрытым
слоем, но и многослойных
перцептронов с перекрёстными и обратными связями. В книге также вводится
ряд важных идей и теорем, например, доказывается теорема сходимости
перцептрона.
9
3. Описание элементарного перцептрона
Элементарный перцептрон состоит из элементов трёх типов: Sэлементов, A-элементов и одного R-элемента. S-элементы — это слой
сенсоров или рецепторов. В физическом воплощении они соответствуют,
например,
светочувствительным
глаза или фоторезисторам матрицы
камеры.
клеткам сетчатки
Каждый
рецептор
может
находиться в одном из двух состояний — покоя или возбуждения, и только в
последнем случае он передаёт единичный сигнал в следующий слой,
ассоциативным элементам.
A-элементы называются ассоциативными, потому что каждому такому
элементу, как правило, соответствует целый набор (ассоциация) S-элементов.
A-элемент активизируется, как только количество сигналов от S-элементов на
его входе превысило некоторую величину. Таким образом, если набор
соответствующих S-элементов располагается на сенсорном поле в форме
буквы «Д», A-элемент активизируется, если достаточное количество
рецепторов сообщило о появлении «белого пятна света» в их окрестности, то
есть A-элемент будет как бы ассоциирован с наличием/отсутствием буквы «Д»
в некоторой области.
Сигналы от возбудившихся A-элементов, в свою очередь, передаются в
сумматор R, причём сигнал от i-го ассоциативного элемента передаётся с
коэффициентом. Этот коэффициент называется весом A—R связи [5].
Так же, как и A-элементы, R-элемент подсчитывает сумму значений
входных сигналов, помноженных на веса. R-элемент, а вместе с ним и
элементарный перцептрон, выдаёт «1», если линейная форма превышает
порог, иначе на выходе будет «−1».
Обучение элементарного перцептрона состоит в изменении весовых
коэффициентов связей A—R. Веса связей S—A (которые могут принимать
значения {−1; 0; +1}) и значения порогов A-элементов выбираются случайным
образом в самом начале и затем не изменяются.
10
После
обучения
перцептрон
режиме распознавания или обобщения.
В
готов
этом
работать
режиме
в
перцептрону
предъявляются ранее не известные ему объекты, и перцептрон должен
установить, к какому классу они принадлежат. Работа перцептрона состоит в
следующем: при предъявлении объекта возбудившиеся A-элементы передают
сигнал R-элементу, равный сумме соответствующих коэффициентов. Если эта
сумма положительна, то принимается решение, что данный объект
принадлежит к первому классу, а если она отрицательна — то ко второму.
11
4. Основные понятия теории перцептронов
Серьёзное ознакомление с теорией перцептронов требует знания
базовых определений и теорем, совокупность которых и представляет собой
основу для всех последующих видов искусственных нейронных сетей. Но, как
минимум, необходимо понимание хотя бы с точки зрения теории сигналов,
являющееся оригинальным, то есть описанное автором перцептрона Ф.
Розенблаттом.
4.1 Описание на основе сигналов
Для начала определим составные элементы перцептрона, которые
являются
частными
случаями искусственного
нейрона с пороговой
передаточной функцией [6].

Простым S-элементом (сенсорным)
является
чувствительный
элемент, который от воздействия какого-либо из видов энергии (например,
света, звука, давления, тепла и т. п.) вырабатывает сигнал. Если входной
сигнал превышает некоторый порог θ, на выходе элемента получаем +1, в
противном случае — 0.

Простым A-элементом (ассоциативным) называется логический
решающий элемент, который даёт выходной сигнал +1, когда алгебраическая
сумма его входных сигналов превышает некоторую пороговую величину θ
(говорят, что элемент активный), в противном случае выход равен нулю.

Простым R-элементом (реагирующим, то есть действующим)
называется элемент, который выдаёт сигнал +1, если сумма его входных
сигналов является строго положительной, и сигнал −1, если сумма его
входных сигналов является строго отрицательной. Если сумма входных
сигналов равна нулю, выход считается либо равным нулю, либо
неопределённым.
Если на выходе любого элемента мы получаем 1, то говорят, что
элемент активен или возбуждён.
12
Все рассмотренные элементы называются простыми, так как они
реализуют скачкообразные функции. Розенблатт утверждал также, что для
решения более сложных задач могут потребоваться другие виды функций,
например, линейная.
В результате Розенблатт ввёл следующие определения:

Перцептрон представляет собой сеть, состоящую из S-, A-, R-
элементов, с переменной матрицей взаимодействия W (элементы которой —
весовые коэффициенты), определяемой последовательностью прошлых
состояний активности сети.

Перцептроном с последовательными связями называется система,
в которой все связи, начинающиеся от элементов с логическим расстоянием d
от ближайшего S-элемента, оканчиваются на элементах с логическим
расстоянием d+1 от ближайшего S-элемента.

Простым
перцептроном называется
любая
система,
удовлетворяющая следующим пяти условиям:
1.
в системе имеется только один R-элемент (естественно, он связан
со всеми A-элементами);
2.
система представляет собой перцептрон с последовательными
связями, идущими только от S-элементов к A-элементам и от A-элементов к
R-элементам;
3.
веса всех связей от S-элементов к A-элементам (S—A связей)
неизменны;
4.
время
передачи
каждой
связи
равно
либо
нулю,
либо
фиксированной постоянной;

Элементарным перцептроном называется простой перцептрон, у
которого все элементы — простые [7].
Дополнительно можно указать на следующие концепции, предложенные
в книге и позднее развитые в рамках теории нейронных сетей.
13

Перцептрон с перекрёстными связями — это система, в которой
существуют связи между элементами одного типа (S, A или R), находящиеся
на одинаковом логическом расстоянии от S-элементов, причём все остальные
связи — последовательного типа.

Перцептрон с обратной связью — это система, в которой
существует хотя бы одна связь от логически более удалённого элемента к
менее удалённому. Согласно современной терминологии, такие сети
называются рекуррентными.

Перцептрон с переменными S-A связями — это система, в которой
снято ограничение на фиксированные связи от S-элементов к A-элементам.
Доказано, что путём оптимизации S—A связей можно добиться значительного
улучшения характеристик перцептрона.
4.2 Описание на основе предикатов
Марвин Минский изучал свойства параллельных вычислений, частным
случаем которых на то время был перцептрон. Для анализа его свойств ему
пришлось переизложить теорию перцептронов на язык предикатов. Суть
подхода заключалась в следующем:

множеству
сигналов
от
S-элементов
была
сопоставлена
переменная X;

каждому A-элементу был сопоставлен предикат φ(X) (фи от икс),
названный частным предикатом;

каждому
R-элементу
был
сопоставлен
предикат
ψ (пси),
зависящий от частных предикатов;

наконец, перцептроном было
названо
устройство,
способное
вычислять все предикаты типа ψ.
Применительно
к
«зрительному»
перцептрону,
переменная
X
символизировала образ какой-либо геометрической фигуры (стимул).
Частный предикат позволял «распознавать» каждый свою фигуру. Предикат ψ
означал ситуацию, когда линейная комбинация превышала некоторый порог
θ.
14
Учёные выделили 5 семейств перцептронов, обладающих, по их
мнению, интересными свойствами:
1.
Перцептроны, ограниченные по диаметру — каждая фигура X,
распознаваемая частными предикатами, не превосходит по диаметру
некоторую фиксированную величину.
2.
Перцептроны
ограниченного
порядка —
каждый
частный
предикат зависит от ограниченного количества точек из X.
3.
Перцептроны Гамбы — каждый частный предикат должен быть
линейной пороговой функцией, то есть мини-перцептроном.
4.
Случайные перцептроны — перцептроны ограниченного порядка,
где частные предикаты представляют собой случайно выбранные булевы
функции. В книге отмечается, что именно эта модель наиболее подробно
изучалась группой Розенблатта [8].
5.
Ограниченные перцептроны — множество частных предикатов
бесконечно, а множество возможных значений коэффициентов конечно.
Хотя такой математический аппарат позволил применить анализ только
к элементарному перцептрону Розенблатта, он вскрыл много принципиальных
ограничений для параллельных вычислений, от которых не свободен ни один
вид современных искусственных нейронных сетей.
15
5. Историческая классификация
Понятие перцептрона имеет интересную, но незавидную историю. В
результате неразвитой терминологии нейронных сетей прошлых лет, резкой
критики и непонимания задач исследования перцептронов, а иногда и ложного
освещения прессой, изначальный смысл этого понятия исказился. Сравнивая
разработки Розенблатта и современные обзоры, и статьи, можно выделить 4
довольно обособленных класса перцептронов:
Перцептрон с одним скрытым слоем
Это классический перцептрон, которому посвящена большая часть
книги Розенблатта, и рассматриваемый в данной статье: у него имеется по
одному слою S-, A- и R-элементов [9].
Однослойный перцептрон
Это модель, в которой входные элементы напрямую соединены с
выходными с помощью системы весов. Является простейшей сетью прямого
распространения — линейным
классификатором,
и
частным
случаем
классического перцептрона, в котором каждый S-элемент однозначно
соответствует одному A-элементу, S—A связи имеют вес +1 и все A-элементы
имеют
порог
θ
=
1.
Однослойные
перцептроны
фактически
являются формальными нейронами, то есть пороговыми элементами МакКаллока — Питтса. Они имеют множество ограничений, в частности, они не
могут идентифицировать ситуацию, когда на их входы поданы разные
сигналы.
Многослойный перцептрон (по Розенблатту)
Это перцептрон, в котором присутствуют дополнительные слои Aэлементов. Его анализ провёл Розенблатт в третьей части своей книги.
Многослойный перцептрон (по Румельхарту)
Это перцептрон, в котором присутствуют дополнительные слои Aэлементов, причём, обучение такой сети проводится по методу обратного
распространения ошибки, и обучаемыми являются все слои перцептрона (в
16
том числе S—A). Является частным случаем многослойного перцептрона
Розенблатта.
В настоящее время в литературе под термином «перцептрон»
понимается чаще всего однослойный перцептрон, причём, существует
распространённое заблуждение, что именно этот простейший тип моделей
предложил
Розенблатт.
«многослойный
В
перцептрон»,
противоположность
опять
же,
чаще
однослойному
всего
ставят
подразумевая
многослойный перцептрон Румельхарта, а не Розенблатта. Классический
перцептрон в такой дихотомии относят к многослойным.
17
6. Алгоритмы обучения
Важным свойством любой нейронной сети является способность к
обучению. Процесс обучения является процедурой настройки весов и порогов
с целью уменьшения разности между желаемыми (целевыми) и получаемыми
векторами на выходе. В своей книге Розенблатт пытался классифицировать
различные алгоритмы обучения перцептрона, называя их системами
подкрепления.
Система подкрепления — это любой набор правил, на основании
которых можно изменять с течением времени матрицу взаимодействия (или
состояние памяти) перцептрона.
Описывая эти системы подкрепления и уточняя возможные их виды,
Розенблатт основывался на идеях Д. Хебба об обучении, предложенных им
в 1949 году, которые можно перефразировать в следующее правило,
состоящее из двух частей:

Если два нейрона по обе стороны синапса (соединения)
активизируются одновременно (то есть синхронно), то прочность этого
соединения возрастает.

Если два нейрона по обе стороны синапса активизируются
асинхронно, то такой синапс ослабляется или вообще отмирает.
6.1 Обучение с учителем
Классический метод обучения перцептрона — это метод коррекции
ошибки. Он представляет собой такой вид обучения с учителем, при котором
вес связи не изменяется до тех пор, пока текущая реакция перцептрона
остаётся правильной. При появлении неправильной реакции вес изменяется на
единицу, а знак (+/-) определяется противоположным от знака ошибки.
Допустим, мы хотим обучить перцептрон разделять два класса объектов
так, чтобы при предъявлении объектов первого класса выход перцептрона был
положителен (+1), а при предъявлении объектов второго класса —
отрицательным (−1). Для этого выполним следующий алгоритм:
18
1.
Случайным образом выбираем пороги для A-элементов и
устанавливаем связи S—A (далее они изменяться не будут).
2.
Начальные коэффициенты полагаем равными нулю.
3.
Предъявляем обучающую выборку: объекты (например, круги
либо квадраты) с указанием класса, к которым они принадлежат.
o
Показываем перцептрону объект первого класса. При этом
некоторые A-элементы возбудятся. Коэффициенты, соответствующие этим
возбуждённым элементам, увеличиваем на 1.
o
Предъявляем объект второго класса и коэффициенты тех A-
элементов, которые возбудятся при этом показе, уменьшаем на 1.
4.
Обе части шага 3 выполним для всей обучающей выборки. В
результате обучения сформируются значения весов связей.
Теорема сходимости перцептрона, описанная и доказанная Ф.
Розенблаттом (с участием Блока, Джозефа, Кестена и других исследователей,
работавших вместе с ним), показывает, что элементарный перцептрон,
обучаемый по такому алгоритму, независимо от начального состояния
весовых
коэффициентов
и
последовательности
появления
стимулов всегда приведёт к достижению решения за конечный промежуток
времени.
6.2 Обучение без учителя
Кроме классического метода обучения перцептрона Розенблатт также
ввёл понятие об обучении без учителя, предложив следующий способ
обучения:
Альфа-система подкрепления — это система подкрепления, при которой
веса всех активных связей, изменяются на одинаковую величину r, а
веса неактивных связей за это время не изменяются.
Затем, с разработкой понятия многослойного перцептрона, альфасистема была модифицирована и её стали называть дельта-правило.
Модификация
была
проведена
с
целью
сделать
функцию
обучения дифференцируемой (например, сигмоидной), что в свою очередь
19
нужно для применения метода градиентного спуска, благодаря которому
возможно обучение более одного слоя.
20
7. Возможности и ограничения модели
7.1 Возможности модели
Сам Розенблатт рассматривал перцептрон прежде всего как следующий
важный шаг в сторону исследования и использования нейронных сетей, а не
как оконченный вариант «машины, способной мыслить». Ещё в предисловии
к своей книге он, отмечал, что «программа по исследованию перцептрона
связана
главным
образом не с
изобретением
устройств,
обладающих
„искусственным интеллектом“, а с изучением физических структур и
нейродинамических принципов».
Розенблатт предложил ряд психологических тестов для определения
возможностей
нейросетей:
эксперименты
по различению, обобщению,
по распознаванию последовательностей, образованию абстрактных понятий,
формированию и свойствам «самосознания», творческого воображения и
другие. Некоторые из этих экспериментов далеки от современных
возможностей
перцептронов,
поэтому
их
развитие
происходит
больше философски в пределах направления коннективизма. Тем не менее,
для перцептронов установлены два важных факта, находящие применение в
практических
задачах: возможность классификации (объектов)
и возможность аппроксимации (границ классов и функций).
Важным свойством перцептронов является их способность к обучению,
причём по довольно простому и эффективному алгоритму.
Ограничения модели
Сам
Розенблатт
выделил
два фундаментальных
ограничения для
трёхслойных перцептронов (состоящих из одного S-слоя, одного A-слоя и Rслоя): отсутствие у них способности к обобщению своих характеристик на
новые стимулы или новые ситуации, а также неспособность анализировать
сложные ситуации во внешней среде путём расчленения их на более простые.
В 1969 году Марвин Минский и Сеймур Паперт опубликовали книгу
«Перцептроны», где математически показали, что перцептроны, подобные
розенблаттовским, принципиально не в состоянии выполнять многие из тех
21
функций, которые хотели получить от перцептронов. К тому же, в то время
была слабо развита теория о параллельных вычислениях, а перцептрон
полностью соответствовал принципам таких вычислений. По большому счёту,
Минский
показал
преимущество
последовательных
определённых
классах
перед параллельным в
задач,
вычислений
связанных
с
инвариантным представлением. Его критику можно разделить на три темы:
Перцептроны
1.
имеют
ограничения
в
задачах,
связанных
с инвариантным представлением образов, то есть независимым от их
положения на сенсорном поле и относительно других фигур. Такие задачи
возникают,
например,
если
нам
требуется
построить
машину
для
чтения печатных букв или цифр так, чтобы эта машина могла распознавать их
независимо от положения на странице (то есть чтобы на решение машины не
оказывали влияния перенос, поворот, растяжение-сжатие символов); или если
нам нужно определить из скольких частей состоит фигура; или находятся ли
две фигуры рядом или нет. Минским было доказано, что этот тип задач
невозможно полноценно решить с помощью параллельных вычислений, в том
числе — перцептрона.
2.
Перцептроны
над аналитическими
не
имеют
функционального
методами (например, статистическими)
преимущества
в
задачах,
связанных с прогнозированием. Тем не менее, в некоторых случаях они
представляют более простой и производительный метод анализа данных.
3.
решены
Было показано, что некоторые задачи в принципе могут быть
перцептроном,
но
могут
потребовать
нереально большого
времени или нереально большой памяти.
Книга Минского и Паперта существенно повлияла на пути развития
науки об искусственном интеллекте, так как переместила научный интерес и
субсидии правительственных организаций США на другое направление
исследований — символьный подход в ИИ.
7.2 Применение перцептронов
22
Здесь будут показаны только основы практического применения
перцептрона
на
двух
различных
задачах.
Задача прогнозирования (и
эквивалентная ей задача распознавания образов) требует высокой точности, а
задача управления агентами — высокой скорости обучения. Поэтому,
рассматривая эти задачи, можно полноценно ознакомиться с возможностями
перцептрона, однако этим далеко не исчерпываются варианты его
использования [10].
В практических задачах от перцептрона потребуется возможность
выбора более чем из двух вариантов, а значит, на выходе у него должно
находиться
более
одного
R-элемента.
Как
показано
Розенблаттом,
характеристики таких систем не отличаются существенно от характеристик
элементарного перцептрона.
В этих задачах от перцептрона требуется установить принадлежность
объекта к какому-либо классу по его параметрам (например, по внешнему
виду, форме, силуэту). Причём, точность распознавания будет во многом
зависеть от представления выходных реакций перцептрона. Здесь возможны
три типа кодирования: конфигурационное, позиционное, и гибридное.
Позиционное кодирование, когда каждому классу соответствует свой Rэлемент, даёт более точные результаты, чем другие виды. Такой тип
использован, например, в работе по применению перцептрона Розенблатта для
распознавания рукописных цифр. Однако оно неприменимо в тех случаях,
когда число классов значительно, например, несколько сотен, в таких случаях
можно применять гибридное конфигурационно-позиционное кодирование.
В искусственном интеллекте часто рассматриваются обучающиеся
(адаптирующиеся к окружающей среде) агенты. При этом в условиях
неопределённости становится важным анализировать не только текущую
информацию, но и общий контекст ситуации, в которую попал агент, поэтому
здесь применяются перцептроны с обратной связью. Кроме того, в некоторых
задачах становится важным повышение скорости обучения перцептрона,
например, с помощью моделирования рефрактерности.
23
После периода, известного как «Зима искусственного интеллекта»,
интерес к кибернетическим моделям возродился в 1980-х годах, так как
сторонники символьного подхода в ИИ так и не смогли подобраться к
решению вопросов о «Понимании» и «Значении», из-за чего машинный
перевод и техническое распознавание образов до прорыва 2010-х гг. обладало
неустранимыми недостатками. Сам Минский публично выразил сожаление,
что его выступление нанесло урон концепции перцептронов, хотя книга лишь
показывала недостатки отдельно взятого устройства и некоторых его
вариаций. Но в основном ИИ на десятилетия стал синонимом символьного
подхода, который выражался в составлении все более сложных программ для
компьютеров, моделирующих сложную деятельность человеческого мозга.
24
Заключение
Персептроны часто применяются для решения контролируемых задач
обучения: они тренируются по набору пар входных/выходных объектов и
учатся моделировать корреляции (т. е. зависимости) между этими данными.
Обучение включает в себя настройку параметров модели (весовых
коэффициентов,
смещений)
для
минимизации
погрешности.
Для
корректировки этих параметров относительно погрешности используется
алгоритм обратного распространения, а сама погрешность может быть
вычислена различными способами, в том числе путем вычисления
среднеквадратичного отклонения (RMSE).
25
Библиографический список
1. Бонгард, М. М. Проблема узнавания. — М.: Наука, 1967. —
320 с. Архивная копия от 6 июня 2015 на Wayback Machine
2. Брюхомицкий, Ю. А. Нейросетевые модели для систем
информационной безопасности: Учебное пособие. — Таганрог: Изд-во ТРТУ,
2005. — 160 с.
3. Мак-Каллок, У. С., Питтс, В. Логическое исчисление идей,
относящихся к нервной активности = A logical calculus of the ideas immanent
in nervous activity // Автоматы: Сб... — М., 1956. — С. 363—
384. Архивировано 6 июня 2015 года.
4. Минский, М., Пейперт, С. Персептроны = Perceptrons. — М.: Мир,
1971. — 261 с. Архивная копия от 6 июня 2015 на Wayback Machine
5. Розенблатт, Ф. Принципы нейродинамики: Перцептроны и теория
механизмов мозга = Principles of Neurodynamic: Perceptrons and the Theory of
Brain Mechanisms. — М.: Мир, 1965. — 480 с. Архивная копия от 21 мая 2015
на Wayback Machine
6. Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика =
Neural Computing. Theory and Practice. — М.: Мир, 1992. — 240 с. — ISBN 503-002115-9. Архивная копия от 30 июня 2009 на Wayback Machine
7. Хайкин, С. Нейронные сети: Полный курс = Neural Networks: A
Comprehensive Foundation. — 2-е изд. — М.: «Вильямс», 2006. —
1104 с. — ISBN 0-13-273350-1.
8. Яковлев С. С. Система распознавания движущихся объектов на базе
искусственных нейронных сетей // ИТК НАНБ. — Минск, 2004. — С. 230—
234.
9. Kussul E., Baidyk T., Kasatkina L., Lukovich V. Перцептроны
Розенблатта для распознавания рукописных цифр = Rosenblatt Perceptrons for
Handwritten Digit Recognition // IEEE. — 2001. — С. 1516—1520. — ISBN 07803-7044-9. Архивировано 19 августа 2013 года. (англ.)
26
10. Stormo G. D., Schneider T. D., Gold L., Ehrenfeucht A. Использование
перцептрона для выделения сайтов инициации в E. coli = Use of the
'Perceptron' algorithm to distinguish transational initiation sites in E. coli // Nucleic
Acids Research. — 1982. — С. P. 2997–3011. (англ.)