МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ «НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ЯДЕРНЫЙ УНИВЕРСИТЕТ “МИФИ”» САРОВСКИЙ ГОСУДАРСТВЕННЫЙ ФИЗИКО-ТЕХНИЧЕСКИЙ ИНСТИТУТ ФИЗИКО-ТЕХНИЧЕСКИЙ ФАКУЛЬТЕТ КАФЕДРА ЦИФРОВЫХ ТЕХНОЛОГИЙ РЕФЕРАТ по КУРСУ «Интеллектуальные системы и технологии» Тема: Компьютерное зрение - как область искусственного интеллекта. Обработка визуальной информации. Обзор существующих подходов. Состояние и перспективы. Машинное зрение (Machine Vision) СТУДЕНТ ГРУППА Чернышов Дмитрий Витальевич ВТМ-11 РУКОВОДИТЕЛЬ РАБОТЫ доцент Макарец А.Б. ЗАВЕДУЮЩИЙ КАФЕДРОЙ доцент, к.ф-м.н. Холушкин В.С. Г.Саров 2021 г. 1 Аннотация Целью данной работы является исследование в области компьютерного зрения - как области искусственного интеллекта. В первой главе исследовательской работы приведены теоретические аспекты представления искусственного интеллекта, его основные понятия, история и потенциал дальнейшего развития. Во второй главе исследовательской работы рассматриваются конкретные системы компьютерного зрения, а так же роль и тенденции развития CV В третьей главе исследовательской работы рассматриваются различные сферы применения компьютерного зрения, актуальные в наше время. Данная работа состоит из введения, трех глав, заключения, списка литературы и включает в себя: 20 рисунков, 44 страниц. 2 Содержание Введение………………………………………………………………...………5 Глава 1. Введение в науку ИИ…………………...…………………..………..6 1.1 Основные понятия и концепции науки ИИ………………….……..……6 1.1.1 ИИ на предприятиях…………………………………….……..………...7 1.1.2 Пять распространенных мифов о корпоративном искусственном интеллекте………………………………………….………………………….……….7 1.1.3 Преимущества и проблемы внедрения ИИ……………………………..8 1.1.4 Конкурентные преимущества стратегического ИИ……………………9 1.2 История развития науки ИИ…………………………………………...…..9 1.2.1 Наука об искусственном интеллекте……………………………………9 1.2.2 Технологические предпосылки к возникновению науки…………..…9 1.2.3. Текущее состояние………………………………………………………10 1.3 Классификация методов, подходов, технологий, используемых в интеллектуальных информационных системах……………………………...…….10 1.3.1 Роль интеллектуальных информационных систем в современном мире…………………………………….…………………………………………..10 1.3.2 Классификация интеллектуальных информационных систем ..……..11 1.3.3 Классификация систем искусственного интеллекта……………….....12 1.4 Роль и место компьютерного зрения среди интеллектуальных технологий…………………………….…………………………………………...…….14 Глава 2.Компьютерное зрение…………………………….…………………..14 2.1 Основы компьютерного зрения…………………………………..……….14 2.1.1 Задачи CV…………………………………………………..…...………..15 2. 2 Технологии…………………………………………………....…………...15 2.2.1 Типы систем CV и методы обработки изображений….…….………...16 2.2.2. Библиотеки ПО компьютерного зрения……………………..………...17 2.2.3. Системы и методы обработки изображений…………………….…….18 2.2.4 Основные подходы к решению задач CV…………………………..…18 3 3. Применения ….………………………………………………………………18 3.1 Видеонаблюдение и безопасность.….……………………………………29 3.2 Медицина и здравоохранение……………… ……….…………………...33 3.3 Сельское хозяйство.……………………………………………..…………36 3.4 Логистика доставка товаров..………………………………...…………...39 3.5 Будущее компьютерного зрения ……..……………………………………40 Заключение………………………………………………………………………41 Список литературы……………………………………………………………...42 Приложение ……………………………………………………………………..44 4 Введение Значительный рост вычислительной мощности компьютеров и появление новых математических моделей и алгоритмов в последние годы позволило добиться значительного прогресса в области компьютерного зрения. Новые технологии, основанные на машинном обучении, позволяют создавать надежные решения для сложных задач распознавания зрительных образов. Многие из этих решений имеют практические применения на рынке, а потому привлекают все больше инвестиций. Данная статья представляет собой обзор основных подходов к решению задач компьютерного зрения, с акцентом на глубинное машинное обучение и искусственные нейронные сети. Также в статье приведен обзор рыночных показателей в данной области и показано, что рынок компьютерного зрения быстро развивается и имеет серьезные перспективы. Данная работа является наглядным примером, описывающим роль компьютерного зрения в современной жизни и в интеллектуальных технологиях. Новизна работы заключается в использовании источников информации с самой новой и актуальной информацией по исследуемой тематике. Объектом исследования является CV. Предметом исследования является компьютерное зрение как существенная роль в информационных системах и интеллектуальных технологиях. Цель работы – показать в теории и на практических примерах, насколько полезно компьютерное зрение и насколько оно актуально в наши дни. Задачами данной работы является представление аспектов компьютерного зрения таких как : Идентификация, Распознавание объектов, Сегментация изображений, Оценка положения, Распознавание текста, Генерация объектов, Анализ видео. 5 Компьютерное зрение — теория и технология создания машин, которые могут видеть. Как научная дисциплина, компьютерное зрение относится к теории и технологии создания искусственных систем, которые получают информацию из изображений. Видеоданные могут быть представлены множеством форм, таких как видеопоследовательность, изображения с различных камер или трехмерными данными с медицинского сканера. Как технологическая дисциплина, компьютерное зрение стремится применить теории и модели компьютерного зрения к созданию систем компьютерного зрения. Примерами применения таких систем могут быть: 1. Системы управления процессами (промышленные роботы, автономные транспортные средства) 2. Системы видеонаблюдения 3. Системы организации информации (например, для индексации баз данных изображений) 4. Системы моделирования объектов или окружающей среды (анализ медицинских изображений, топографическое моделирование) 5. Системы взаимодействия (например, устройства ввода для системы человеко-машинного взаимодействия) Компьютерное зрение также может быть описано как дополнение (но не обязательно противоположность) биологическому зрению. В биологии изучается зрительное восприятие человека и различных животных, в результате чего создаются модели работы таких систем в терминах физиологических процессов. Компьютерное зрение, с другой стороны, изучает и описывает системы компьютерного зрения, которые выполнены аппаратно или программно. Междисциплинарный обмен между биологическим и компьютерным зрением оказался весьма продуктивным для обеих научных областей. Подразделы компьютерного зрения включают воспроизведение действий, обнаружение событий, слежение, распознавание образов, восстановление изображений. 6 1.1 Основные понятия и концепции науки ИИ Если вкратце, то искусственный интеллект (ИИ) — это система или машина, которая способна имитировать человеческое поведение для выполнения определенных задач и может постепенно обучаться, используя полученную информацию. ИИ имеет множество воплощений (Рис.1). Например: чат-боты используют ИИ, чтобы быстрее анализировать обра- щения заказчиков и давать соответствующие ответы; «умные помощники» используют ИИ, чтобы извлекать инфор- мацию из больших наборов данных в произвольной форме и оптимизировать планирование; Механизмы рекомендаций автоматически подбирают пользова- телям похожие телепрограммы на основе ранее просмотренных. Рис.1 - Искусственный интеллект ИИ — это не формат и не функция, это процесс и умение думать и анализировать данные. Несмотря на то, что при упоминании «искусственного интеллекта» многие представляют разумных человекоподобных роботов, захватывающих мир, в реальности ИИ не предназначен для замены людей. Его 7 цель — расширить границы человеческих способностей и возможностей. Поэтому данная технология является ценным бизнес-ресурсом. Сегодня термин «ИИ» широко используется для обозначения приложений для сложных задач, которые раньше могли выполнять только люди, например обслуживание заказчиков или игра в шахматы. Нередко его используют в качестве синонима машинного обучения и глубокого изучения, которые на самом деле являются подразделами науки об искусственном интеллекте и имеют свою специфику. Например, машинное обучение фокусируется на создании систем, которые обучаются и развиваются путем обработки и анализа данных. Важно понимать, что если машинное обучение всегда подразумевает использование ИИ, то ИИ далеко не всегда подразумевает машинное обучение. Чтобы использовать возможности ИИ с максимальной выгодой для бизнеса, необходимо нанять специалистов по изучению данных. Наука о данных — это область на стыке статистики и информатики, которая использует методы этих двух дисциплин для бизнес-анализа данных, полученных из различных источников. 1.1.1 ИИ на предприятиях Технологии на основе ИИ помогают повысить эффективность и производительность труда за счет автоматизации процессов и задач, которые раньше выполнялись людьми. ИИ также умеет интерпретировать объемы данных, которые не под силу интерпретировать человеку. Это умение может приносить существенные преимущества для бизнеса. Например, Netflix использует машинное обучение для персонализации, что помогло увеличить аудиторию на 25 % за 2017 год. 8 Большинство компаний сделали изучение данных своим приоритетом и вкладывают в него значительные средства. Согласно недавнему исследованию, проведенному Gartner среди более чем 3000 генеральных директоров, респонденты назвали аналитику данных и бизнес-аналитику основными технологиями для достижения успеха. По мнению опрошенных, эти технологии имеют наибольшее стратегическое значение, поэтому на них приходится основной объем инвестиций. ИИ предлагает преимущества для всех аспектов и отраслей бизнеса любого масштаба, как общие, так и специализированные: использование операционных и демографических данных дает возможность прогнозировать объем прибыли от заказчика на протяжении всего периода взаимодействия (ценность цикла обслуживания заказчика); оптимизация ценообразования на основе поведения и предпо- чтений покупателей; Распознавание образов для анализа рентгеновских снимков и диагностики рака. 1.1.2 Пять неправильных искусственном суждений о корпоративном интеллекте Несмотря на то, что многие предприятия успешно внедрили технологию искусственного интеллекта в свое производство, об ИИ и его возможностях до сих пор бытует множество неверных представлений. В этой статье мы рассмотрим пять распространенных мифов об искусственном интеллекте. лекта № 1. Корпоративные технологии искусственного интелтребуют разработки собственных решений. Факт. Большинство предприятий внедряют ИИ, используя одновременно 9 собственные разработки и готовые решения от сторонних поставщиков. Технологии ИИ собственной разработки дают возможность предприятию решать свои уникальные задачи, в то время как готовые ИИ-решения легко внедряются и упрощают решение более распространенных бизнеспроблем. № 2. ИИ волшебным образом сразу обеспечивает желаемые результаты. Факт. Чтобы технология ИИ принесла ощутимую пользу, требуется время, тщательное планирование и четкое представление о том, каких результатов требуется достичь. Нужно придерживаться итеративного подхода и располагать определенной стратегией, чтобы ИИ-среда не оказалась в итоге набором бесполезных, разрозненных решений. № 3. Сотрудникам не придется запускать работу корпора- тивных систем ИИ. Факт. Корпоративный искусственный интеллект — это не роботы, которые не поддаются контролю. Ценность ИИ заключается в том, что он дополняет возможности человека и помогает сотрудникам заниматься решением более стратегически важных задач. Кроме того, именно от сотрудников зависит, на основе каких данных будет работать технология и каким образом она будет эти данные использовать. № 4. Чем больше данных, тем лучше. Факт. Корпоративные ИИ-системы должны работать на основе качественных данных. Только актуальные, релевантные, обогащенные данные высокого качества помогут найти по-настоящему полезные бизнес-сведения. нужны № 5. Для эффективной работы корпоративных ИИ-систем только данные и модели. Факт. Данные, алгоритмы и модели — это только начало. ИИ-решение должно быть масштабируемым, чтобы оно не теряло актуальности в постоянно меняющейся бизнес-среде. На сегодняшний день большая часть кор10 поративных ИИ-решений разрабатывается специалистами по изучению данных. Они нуждаются в серьезном обслуживании и ручной настройке и не масштабируются. Чтобы технологии ИИ приносили пользу, нужны решения, которые будут масштабироваться по мере изменения бизнеспотребностей и реализации ИИ-стратегии компании. 1.1.3 Преимущества и проблемы внедрения ИИ Ценность ИИ для бизнеса подтверждена многочисленными примерами его успешного внедрения. Добавление компаниями технологий машинного обучения и когнитивных операций в традиционные бизнес-процессы и приложения обеспечивает лучшее взаимодействие с пользователем и повышает производительность. Тем не менее внедрение ИИ связано с определенными трудностями. Лишь немногие компании задействуют полный потенциал ИИ — по нескольким причинам. Одна из них состоит в слишком больших расходах на вычисления для ИИ в тех случаях, когда компания не использует облачные технологии. Вторая — в том, что решения на основе ИИ сложны в разработке, для которой приходится привлекать высококвалифицированных дефицитных специалистов. Понимание того, где и для чего необходим ИИ, а также решение задачи привлечения других поставщиков услуг поможет минимизировать эти проблемы (Рис.2) Рис.2 - Применения искусственного интеллекта и его социальные и экономические последствия 11 1.1.4 Конкурентные преимущества стратегического ИИ ИИ является стратегической необходимостью для любой компании, которая хочет повысить производительность, открыть новые возможности для получения прибыли и укрепить лояльность заказчиков. ИИ помог многим компаниям быстрее добиться конкурентного преимущества. Благодаря ИИ можно делать больше за меньшие сроки, обеспечивать эффективное персонализированное обслуживание и прогнозировать результаты, а значит — получать большую прибыль. Тем не менее ИИ остается достаточно новой и сложной технологией. Чтобы полностью раскрыть ее потенциал, чтобы создавать и применять решения на основе ИИ, необходим высокий уровень квалификации. Для достижения успеха недостаточно просто нанять специалистов по изучению данных. Необходимо использовать правильные инструменты, процессы и стратегии управления. 1.2 История развития науки ИИ 1.2.1 Наука об искусственном интеллекте Как прикладная наука «Искусственный интеллект» имеет теоретическую и экспериментальную части. Практически, проблема создания «Искусственного интеллекта» находится на стыке информатики и вычислительной техники — с одной стороны, с нейрофизиологией, когнитивной и поведенческой психологией — с другой стороны. Теоретической основой должна служить Философия искусственного интеллекта, но только с появлением 12 зна́чимых результатов теория приобретёт самостоятельное значение. Пока, теорию и практику «Искусственного интеллекта» следует отличать от математических, алгоритмических, робототехнических, физиологических и прочих теоретических дисциплин и экспериментальных методик, имеющих самостоятельное значение. 1.2.2 Технологические предпосылки к возникновению науки В 1623 г. Вильгельм Шикард построил первую механическую цифровую вычислительную машину, за которой последовали машины Блеза Паскаля и Лейбница. Лейбниц также был первым, кто описал современную двоичную систему счисления, хотя до него этой системой периодически увлекались многие великие ученые. В 1832 году коллежский совет- ник С. Н. Корсаков выдвинул принцип разработки научных методов и устройств для усиления возможностей разума и предложил серию «интеллектуальных машин», в конструкции которых, впервые в истории информатики, применил перфорированные карты. В XIX веке Чарльз Бэббидж и Ада Лавлейс работали над программируемой механической вычислительной машиной. 1.2.3 Рождение науки В 1910—1913 гг. Бертран Рассел (Рис.3) и А. Н. Уайтхед опубликовали работу «Принципы математики», которая произвела революцию в формальной логике. В 1941 Конрад Цузе построил первый работающий программноуправляемый компьютер. Уоррен Маккалок и Уолтер Питтс в 1943 опубли- 13 ковали A Logical Calculus of the Ideas Immanent in Nervous Activity, который заложил основы нейронных сетей. Рис. 3 – Бертран Рассел Текущее состояние Наибольшее число молодых инновативных фирм, разрабатывающих ИИ, находятся в США, Европе, Китае, Израиле, Великобритании, Канаде. Среди компаний, зарегистрировавших наибольшее число патентов в области ИИ находятся IBM, Microsoft, Toshiba, Samsung, NEC, Fujitsu, Hitachi, Panasonic, Canon. 14 1.3 Роль интеллектуальных информационных систем в современном мире Прогресс в сфере экономики немыслим без применения современных информационных технологий, представляющих собой основу экономических информационных систем (ИС). Информационные системы в экономике имеют дело с организацией и эффективной обработкой больших массивов данных в компьютеризированных системах предприятий, обеспечивая информационную поддержку принятия решений менеджерами. Глобализация финансовых рынков, развитие средств электронной коммерции и формирование в Интернете доступных для анализа баз данных финансовоэкономической информации, снижение стоимости программной реализации ИС, привели за последние два года к беспрецедентному росту их использования в экономике. ИС позволяют объективно оценить достигнутый уровень развития экономики, выявить резервы и обеспечить успех их деятельности на основе применения правильных решений. Работы в области искусственного интеллекта в течение довольно длительного времени представлялись многим как причуды оторванных от реальности информантов-интеллектуалов, обучающих компьютер игре в шахматы или распознаванию сцен, или же пытающихся создать автономно ориентирующиеся в пространстве мобильные роботы. Появление экспертных систем МYСIN, DЕNDRАL, РRОSРЕСТОR, а так же обнадеживающие результаты их успешного применения в области медицины, технической диагностики, геофизики, управления непрерывными технологическими процессами решительно изменили ситуацию. Стало очевидным, что методы правдоподобных и дедуктивных выводов могут быть хорошим дополнением или частичной заменой специалиста, ставящего медицинский или технический диагноз и вообще принимающего решения в форме выбора одной из альтернативных гипотез на основании наблюдаемых данных 15 1.3.1 Классификация интеллектуальных информационных систем Рис.4 - Классификация интеллектуальных информационных систем Интеллектуальные информационные системы можно классифицировать по разным основаниям. Базовые основания и классификация по ним приведены 1. Предметная область применения: − ИИС менеджмента, − ИИС риск-менеджмента, − ИИС инвестиций − ИИС в военной сфере и др. 2. Степень автономности от корпоративной ИС или базы дан- ных: − автономные в виде самостоятельных программных продуктов с собственной базой данных; − сопрягаемые с корпоративной; − полностью интегрированные. 3. По способу и оперативности взаимодействия с объектом: 16 − статические ИИС, − динамические ИИС: − ИИС реального времени; − советующие ИИС, в контур которых вовлечен пользователь. 4. По адаптивности: − обучаемые ИИС, т.е. системы, параметры и структура которых, могут изменяться в процессе обучения или самообучения (нейронные сети, генетические алгоритмы и др.); − ИИС, параметры которых изменяются администратором базы знаний (экспертные системы и др.). 5. По модели представления знаний: − методы резолюций исчисления предикатов; − Немонотонные, модальные и временные логики; − Марковские и Баесовские сети вывода; − Казуальные деревья и теория веры; − Теория Демпстера-Шейфера; − Нечеткие системы. 17 1.3.3. Классификация систем искусственного интеллекта Рис.5 - Классификация систем искусственного интеллекта Системы с интеллектуальной обратной связью и интеллектуальными интерфейсами (Рис.5). Интеллектуальный интерфейс - интерфейс непосредственного взаимодействия ресурсов информационного комплекса и пользователя посредством программ обработки текстовых запросов пользователя. Примером может служить программа идентификация и аутентификация личности по почерку Автоматизированные системы распознавания образов: - формирование конкретных образов объектов и обобщенных образов классов; - обучение, т.е. формирование обобщенных образов классов на основе ряда примеров объектов, классифицированных (т.е. отнесенных к тем или иным категориям – классам) учителем и составляющих обучающую выборку; - самообучение, т.е. формирование кластеров объектов на основе анализа неклассифицированной обучающей выборки; 18 - распознавание, т.е. идентификацию (и прогнозирование) состояний объектов, описанных признаками, друг с другом и с обобщенными образами классов; - измерение степени адекватности модели; - решение обратной задачи идентификации и прогнозирования Автоматизированные системы поддержки принятия решений. Системы поддержки принятия решений (СППР) – это компьютерные системы, почти всегда интерактивные, разработанные, чтобы помочь менеджеру (или руководителю) в принятии решений управления, объединяя данные, сложные аналитические модели и удобное для пользователя программное обеспечение в единую мощную систему, которая может поддерживать слабоструктурированное и неструктурированное принятие решения Экспертные системы (ЭС). Это программа, которая в определенных отношениях заменяет эксперта или группу экспертов в той или иной предметной области. Генетические алгоритмы и моделирование эволюции. Генетические Алгоритмы (ГА) – это адаптивные методы функциональной оптимизации, основанные на компьютерном имитационном моделировании биологической эволюции Когнитивное моделирование. Рис.6 – Когнитивное моделирование 19 Это способ анализа, обеспечивающий определение силы и направления влияния факторов на перевод объекта управления в целевое состояние с учетом сходства и различия в влиянии различных факторов на объект управления Выявление знаний из опыта и интеллектуальный анализ данных. Интеллектуальный анализ данных (ИАД или data mining) – это процесс обнаружения в «сырых» данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. Нейронные сети. Искусственная нейронная сеть (ИНС, нейросеть) - это набор нейронов, соединенных между собой. 1.4 Значение компьютерного зрения в интеллектуальных технологиях Компьютерное зрение и искусственный интеллект – одни из самых востребованных направлений в современном мире ИТ, - отмечает Владимир Уфнаровский, совладелец компании «Системы компьютерного зрения». - О достижениях России в этих областях известно очень немного, но при этом огромное количество разработок базируется, в частности, на российских исследованиях. Кроме того, существует множество разнообразных «мифов» вокруг КЗ и ИИ – одни считают, что компьютеры уже легко могут «видеть» и 20 «осознавать» что-либо, превосходя человека, а другие, наоборот, не понимают, насколько уже продвинулись технологии Компьютерное зрение (Computer Vision, CV) — это область искусственного интеллекта, связанная с анализом изображений и видео. Она включает в себя набор методов, которые наделяют компьютер способностью «видеть» и извлекать информацию из увиденного. Системы состоят из фото- или видеокамеры и специализированного программного обеспечения, которое идентифицирует и классифицирует объекты. Они способны анализировать образы (фотографии, картинки, видео, штрих-коды), а также лица и эмоции. Чтобы научить компьютер «видеть», используются технологии машинного обучения. Собирается множество данных, которые позволяют выделить признаки и комбинации признаков для дальнейшей идентификации похожих объектов. По данным исследования TAdviser, с 2018 по 2023 год объем отечественного рынка решений в этой сфере увеличится в пять раз до 38 млрд рублей. Наибольшую долю в нем занимают решения в области видеонаблюдения и безопасности — 32%, промышленности — 17%, медицины — 14%, торговли —10%. 21 Глава 2.Компьютерное зрение 2.1 Основы компьютерного зрения Компьютерное зрение(Рис.7). (Computer Vision, CV), в том числе машинное зрение (Machine Vision, MV) – это автоматическая фиксация и обработка изображений, как неподвижных, так и движущихся объектов при помощи компьютерных средств. В России также используется термин «техническое зрение» Рис.7 – компьютерное зрение Первые попытки заставить компьютер «видеть» относятся к началу 60х годов 20 века. Однако лишь в последние годы в связи с повышением вычислительных мощностей и быстродействия процессоров, объёмов памяти, повышением разрешающей способности и других параметров камер, развитием полосы пропускания каналов связи, а также с появлением таких технологий, как машинное и глубокое обучение (Machine/Deep Learning), искусственный интеллект AI (Artificial Intelligence) технологии CV/MV стали находить все больше применений в различных отраслях индустрии и повседневной жизни людей. 22 В последние годы CV стало активно использоваться в промышленности, в т.ч. в таких отраслях, как автомобилестроение, пищевая промышленность, фармацевтика, производство микроэлектронных изделий и многих других. 2.1.1 Задачи CV Компьютерное зрение (Computer Vision, CV), в том числе машинное зрение (Machine Vision, MV) – это автоматическая фиксация и обработка изображений, как неподвижных, так и движущихся объектов при помощи компьютерных средств. В России также используется термин «техническое зрение». Первые попытки заставить компьютер «видеть» относятся к началу 60х годов 20 века. Однако лишь в последние годы в связи с повышением вычислительных мощностей и быстродействия процессоров, объёмов памяти, повышением разрешающей способности и других параметров камер, развитием полосы пропускания каналов связи, а также с появлением таких технологий, как машинное и глубокое обучение (Machine/Deep Learning), искусственный интеллект AI (Artificial Intelligence) технологии CV/MV стали находить все больше применений в различных отраслях индустрии и повседневной жизни людей. В последние годы CV стало активно использоваться в промышленности, в т.ч. в таких отраслях, как автомобилестроение, пищевая промышленность, фармацевтика, производство микроэлектронных изделий и многих других. 23 2. 2 Технологии В общем случае, системы CV (Рис.8) состоят из фото- или видеокамеры, а также компьютера, на котором работают программы обработки и анализа изображений. Если программное обеспечение по обработке изображения расположено непосредственно в камере, такая камера называется «смарт- камерой». ПО может также работать на удалённом компьютере или компьютерах, или выполняться в облаке по модели SaaS (Software as a Service). Рис.8 - Структура CV-системы со Smart-камерой Системы компьютерного зрения включают следующие основные компоненты: подсветку объекта (не всегда требуется) и оптику (линзы и объ- ективы) сенсорную матрицу для проецирования изображения системы обработки изображения, полученного с матрицы. 24 2.2.1 Типы систем CV и методы обработки изображений Существует три основных типа систем CV: одномерные (1D), двумерные (2D) объёмные (3D) системы СV. Отдельно стоят панорамные многокамерные системы и системы «рыбий глаз» (fisheye), которые обычно относят к особому типу, а иногда, в зависимости от количества камер, их конструкции и расположению – к одному из вышеперечисленных типов, поговорим об одном из методов как стереозрение . Стереозрение – один из методов извлечения информации о глубине сцены при помощи изображений с двух камер (стереопары) (Рис.9). В основе метода лежит принцип человеческого зрения, когда мозг человека получает информацию об объёме по картинке от двух глаз. Точно так же разница в расположении пикселей в изображении с двух камер даёт информацию о глубине. Рис.9 - Принцип стереозрения При помощи регулировки расстояния между камерами стереопары (baseline) можно регулировать требуемую глубину распознавания сцены. 25 2.2.2. Библиотеки ПО компьютерного зрения OpenCV (Open Source Computer Vision Library) – библиоте- ка алгоритмов компьютерного зрения, обработки изображений и численных алгоритмов общего назначения. Реализована на языке C/C++, также разрабатывается для Python, Java, Ruby, Matlab, Lua и других языков. PCL (Point Cloud Library) — крупномасштабный открытый про- ект для обработки 2D/3D-изображений и облаков точек. Платформа PCL содержит множество алгоритмов, включая фильтрацию, оценку характеристик, реконструкцию поверхности, регистрацию, подбор модели и сегментацию. ROS (Robot Operating System) – платформа разработ- ки ПО для роботов. Она представляет собой набор инструментов, библиотек и соглашений, которые упрощают разработки сложных и эффективных программ для управления многими типами роботов. MATLAB — высокоуровневый язык и интерактивная среда для программирования, численных расчётов и визуализации результатов. С помощью MATLAB можно анализировать данные, разрабатывать алгоритмы, создавать модели и приложения. CUDA (Compute Unified Device Architecture) — программно-аппаратная архитектура параллельных вычислений, которая позволяет существенно увеличить вычислительную производительность благодаря использованию графических процессоров фирмы Nvidia Рис.10 - Контроль точности изготовления режущих кромок фрезы при помощи компьютерного зрения 26 2.2.3. Системы и методы обработки изображений В простых системах обработки CV обычно требуется получить количественную и качественную информацию из визуальных данных (изображений): такие параметры, как размер, цвет, количество, направление и характер движения, а также контрастные переходы в окрестностях пикселя изображения, из которых производится получение характерных черт, ХЧ (т.н. «фичи», от англ. Features). На их основе производится анализ изображения для извлечения полезной информации. В системах обработки изображений CV используются такие методы, как машинное обучение (Machine Learning), системы глубокого обучения (Deep Learning) и нейросети (Neural Networks). Эти методы имитируют процесс распознавания и анализа, который проходит в мозге человека. Рис.11 - Комплекс датчиков и камер CV системы ADAS автомобиля 2.2.4 Основные подходы к решению задач CV Основные подходы к решению задач СV: Контурный анализ Поиск по шаблону (template matching) Поиск вне шаблонов, сопоставление по ключевым точкам (feature detection, description matching) 27 Совмещение данных (Data Fusion) Компьютерное зрение не ограничивается только этими основными методами, например, можно выделить так называемые генетические алгоритмы, применяемые, в частности, для распознавания лиц. Поговорим об одном из подходов подробнее. Соответствие на базе областей (Area-based matching) Методы нахождения соответствия на базе областей (Area-based), которые также называются корреляционными методами, основаны на комбинированном алгоритме нахождения характерных черт, ХЧ (feature detection), и соответствия шаблону (template matching) (Рис.12). Такой метод хорошо работает, если шаблоны не имеют заметных общих ХЧ с изображением, поскольку сравнение происходит на пиксельном уровне. Соответствия измеряются по показателям интенсивности шаблона и изображения [8]. В некоторых случаях нахождение прямого соответствия между шаблоном и изображением невозможно (см. рисунок ниже). Поэтому, при нахождении соответствия используются собственное значение (eigenvalue) и собственное пространство (eigenspace). Эти величины содержат информацию, необходимую для сравнения образов при разных условиях освещённости, контрастности контуров или совпадения по положению объектов. Рис.12 - Применение метода Area-based в геодезии 28 3. Где применяют компьютерное зрение? Сегодня компьютерное зрение широко применяется во многих отраслях цифровой экономики, таких как «Умный город», автономные автомобили и системы помощи водителю (ADAS), беспилотные летательные аппараты, высокотехнологичное сельское хозяйство, здравоохранение и многих других. 3.1 Видеонаблюдение и безопасность Видеонаблюдение – важная часть физической безопасности. Видеонаблюдение с участием человека, по большей части, сводится к длительным периодам ожидания чего-то необычного на видеомониторе. Это очень важная работа, но очень утомительная. По оценкам психологов, среднее время удержания внимания человека на одном объекте не превышает 14 минут. Поэтому были созданы т.н. системы интеллектуально- го видеонаблюдения IVS (intelligent video surveillance) на основе глубокого обучения, задачей которых является распознавание необычных событий или предметов на кадрах видеонаблюдения Рис.13- Интеллектуальное видеонаблюдение (источник: NTT) 29 Платформа обработки изображений (Image processing) осуществляет распознавание лиц (Face detection), обнаружение движения (Motion detection), обнаружение статических объектов (Static object detection), защиту приватности (Privacy protection), отслеживание маршрута перемещения людей (Human tracking), обнаружение аномалий (Anomaly detection), оценку позы человека (Human pose estimation). При обнаружении каких-либо необычных явлений, выдаются предупреждения, объект выделяется на экране рамкой, и пр. (Warning, Emphasizing, Retrieving, Counting, и т.д.). В некоторых городах, таких как Лас-Вегас и Дубай, глубокое обучение в системах видеонаблюдения получило практическое применение в системах «Умного города». Например, такие системы могут информировать соответствующие службы о том, когда и где необходимо собирать мусор, обслуживать уличное освещение или управлять сигналами светофоров, например, переключать свет с красного на зелёный, если в поперечном направлении нет машин и пр. Машинное зрение для роботов Промышленные роботы-манипуляторы обычно хорошо выполняют повторяющиеся рутинные задачи. Однако практически беспомощны, когда задача меняется, например, когда объект манипуляций будет другого размера или конфигурации. Машинное зрение даёт роботу возможность автоматически адаптироваться к изменениям размеров или неточностям объектов и их произвольному расположению. Таким образом, применение машинного зрения для роботов позволяет производить разные продукты, ничего не меняя в самом роботизированном комплексе и без его полного перепрограммирования. 30 Рис.14 - Адаптивный робот для сварки Автомобильная отрасль Доля смертей из-за автомобильных аварий составляет 2,2% от общего количества смертей в мире. Это примерно 1,3 млн. в год, или почти 3300 человек в день, не считая того, что от 20 до 50 млн. человек в год получают серьёзные травмы в результате ДТП. Причиной столь высокой смертности чаще всего является «человеческий фактор». Системы предупреждения о боковом трафике (Cross Traffic Alert) также помогают предотвратить множество аварий, когда водитель не замечает транспорт, движущийся в поперечном направлении. Такие системы обычно строятся на базе радаров, работающих на высокой частоте (20 ГГц и выше). Однако они довольно дороги и могут устанавливаться в автомобилях высокого класса как дополнительная опция. Компьютерное зрение способно значительно упростить такие системы и сделать их широкодоступными. 31 Применение компьютерного зрения в военных целях Основные применения CV в военных целях следующие: *Видеонаблюдение, *Автономные транспортные средства, *Средства обезвреживания минных полей, *Контроль качества при производстве боеприпасов. Рис.15 Применение компьютерного зрения в военной промышленности Потребительский рынок Дрон с компьютерным зрением, распознающий препятствия Компания DJI выпустила новейший дрон Phantom 4 который способен распознавать препятствия при помощи встроенной системы CV и машинного обучения. Он способен самостоятельно выбирать маршрут полёта до указанной оператором цели. Процессор GPU дрона был разработан компанией Movidius. Рис.16 - Дрон компании DJI 32 Компания Movidius объявила о сотрудничестве с Google в проекте внедрения глубокого обучения в смартфоны, что позволяет выполнять разработку изображений на смартфоне локально, а не оправлять большое количество графических данных в облако. В дроне DJI используется именно такая технология. 3.2 Медицина и здравоохранение Применение компьютерного зрения для обработки медицинских изображений часто используется в компьютерной диагностике для планирования персональной терапии, медицинского ухода и улучшения принятия решений. Системы с машинным обучением на базе изображений компьютерного зрения помогают врачу поставить диагноз, поскольку на изображении могут присутствовать мелкие детали, которые врач может не заметить, но такие детали могут быть распознаны системой CV с высокой степенью надёжности. Кроме того, изображение может быть сравнено с тысячами других подобных изображений в базе данных медицинской системы, и результат сравнения используется для более точной постановки диагноза медицинским специалистом. Построение 3D-изображения раковой опухоли по данным компьютерной томографии Компания Microsoft разработала систему CV InnerEye, которая может визуально идентифицировать и отображать на мониторе врача возможные опухоли и другие аномальные образования по данным компьютерной томо33 графии (Рис.16). Затем лечащий врач может более точно идентифицировать их. Для разработки InnerEye был применён алгоритм глубокого обучения на миллионах сканов компьютерной томографии разных пациентов. Рис.17 - Интерфейс системы CV InnerEye 3.3 Сельское хозяйство Объем продукции сельскохозяйственного производства должен почти удвоиться, чтобы удовлетворить спрос на продукты питания для 9,7 миллиардов людей к 2050 году по данным ООН. Эффективность сельского хозяйства для этого должна вырасти почти на 25%. Применение CV-технологий совместно с системами глобального позиционирования позволяет вести точное (прецизионное) земледелие (precision agriculture), которое может значительно повысить урожайность и эффективность сельского хозяйства. Использование беспилотных летательных аппаратов позволяет получать топографические карты местности, а применение технологий обработки изображений позволяет получать 3D-модели участков земной поверхности с 34 возможностью определения любых геометрических размеров. Погрешность геометрических измерений при этом не превышает десятков сантиметров. Определение зрелости урожая На больших сельскохозяйственных предприятиях, например, хлопковых или кукурузных полях, определение зрелости урожая обычно делается вручную. Такие расчёты, как правило, позволяют получить лишь приблизительную оценку и занимают много времени. Поэтому разработчики из Университета штата Теннесси (США) разработали систему CV с оснащённым камерами квадрокоптером для мониторинга зрелости хлопка. Полученные с квадрокоптера фотографии обрабатывались с помощью алгоритма распознавания изображений, при этом удалось подсчитать урожай с точностью от 85% до 93% при использовании различных методов и средств анализа. Определение веса скота Взвешивание свиней обычно делается только два раза за всё время их жизни: в начале и в конце откорма. Загнать животных на весы не очень сложно, но это огромный стресс для животного, а от стресса свиньи теряют вес. Если бы животноводы точнее знали, как идёт процесс откорма каждого поросёнка, то можно было бы составить индивидуальную программу откорма и определить индивидуальный состав пищевых добавок, что существенно улучшило бы общий выход продукции. Поэтому был разработан новый, неинвазивный метод взвешивания животных на основе системы компьютерного зрения, которая оценивает вес свиней по фото- и видеоданным с использованием машинного обучения(Рис.17). На основании полученных данных корректируется процесс откорма. 35 Рис.18 - Контроль степени откорма поросят Розничная торговля CV в сочетании с алгоритмами искусственного интеллекта позволяет ритейлерам автоматизировать процессы, которые раньше требовалось выполнять вручную. Уведомления о закончившихся товарах или неудовлетворении других требований покупателей можно получать автоматически, создав систему аналитики непосредственно в торговой точке. Например, компания Х5 планирует внедрить в своих магазинах системы компьютерного зрения, чтобы отслеживать наличие полного ассортимен36 та товаров на полках и вовремя выкладывать раскупленные товары, а также контролировать длину очереди на кассе и, в случае появления большего количества покупателей в залах магазина, сразу же увеличивать количество работающих касс. В 2018 году компания Amazon году открыла магазин Amazon Go, с решением Just Walk Out Shopping, которое позволяет оплачивать товары автоматически при выходе из магазина без подхода к кассе. Камеры CV способны распознавать не только действия покупателя, когда он берёт товар с полки и кладёт в корзину, но и наоборот, когда он кладёт товар обратно на полку. В этом случае, товар удаляется из виртуальной корзины покупателя. Камеры отслеживают покупателя всё время, пока он находится внутри магазина, без распознавания лиц. 3.4 Логистика доставка товаров Анализ складских запасов Компания «Системы компьютерного зрения» разработала новую технологию определения объёмов древесных брёвен с помощью анализа изображений. Для получения точных данных достаточно сфотографировать штабель брёвен с двух сторон. Затем программа обработки изображений самостоятельно определит количество брёвен, плотность укладки и введёт нужные поправки. В качестве дополнительных опций можно определить количество коры, качество древесины (выявление гнили) и некоторые другие параметры.(Рис.18) 37 Рис.19 - Работа программы по определению объёма древесины Данная система способна обеспечить погрешность вычисления объёма древесины не более 3%. Точность измерения составляет 97-98%. Для сравнения, при ручном методе точность измерения составляет 85-95%, а при пропуске лесовоза через дорогостоящую лазерную рамку – 90-95%. Производство Современное высокотехнологичное производство требует особых подходов к контролю качества выпускаемой продукции. Компьютерное зрение (CV) совершило настоящий технологический прорыв и значительно расширило возможности дефектоскопии в промышленности, перевела ее на новый, более высокий уровень. Теперь технологии позволяют отслеживать качество не только после изготовления изделия или продукта, но и непосредственно во время производственного процесса. Кроме того, системы CV способны значительно упростить и ускорить дефектоскопию производственного оборудования, агрегатов и коммуникаций, находящихся в эксплуатации 38 3.5 Будущее компьютерного зрения CV – быстро растущая область цифровых технологий, которая затрагивает многие стороны повседневной жизни. Компания Apple внедрила функцию распознавания лиц в новые модели iPhone, приобретя такие компании, как PrimeSense, RealFace и Faceshift. Американский портал AngelList, объединяющий стартапы и инвесторов, составил список из 529 новых компаний, которые работают в области компьютерного зрения. Средняя капитализация таких стартапов составляет 5,2 млн. долл. Много стартапов привлекают капитал от 5 до 10 млн. долл. Портал отмечает, что поток инвестиций в компьютерное зрения нарастает. Замена человеческого зрения на компьютерное во многих областях – очень выгодное вложение капитала. Точность анализа видеоинформации компьютером всё время растёт и применение CV может дать большую экономию средств наряду с улучшением качества. Можно выделить пять основных тенденций развития CV: 1. Рост промышленных систем компьютерного зрения. CV для медицинских устройств, фармацевтики, производства пищевых продуктов, автомобильной промышленности предоставляет более высокий уровень контроля качества, а CV для промышленности, как ожидается, в 2019 году станет основным трендом в области компьютерного зрения. 2. Облачные системы глубокого обучения. Алгоритмы глубокого обучения и классификаторы нейросетей позволят более быстро и точно проводить классификацию и распознавание изображений от систем CV. В ближайшие годы число таких разработок значительно возрастёт. 3. Робототехника. Использование промышленных роботов стремительно увеличивается. Поэтому спрос на системы CV для роботов будет расти. 39 4. Рост требований к параметрам оптики для CV, который вызван ростом требований к чёткости и разрешающей способности изображений CV. Разрабатываются и производятся сенсоры для CV-камер с большей разрешающей способностью и с большим количеством пикселей, однако, без качественной оптики эти усовершенствования будут малополезны. Поэтому разрабатываются такие инновационные решения, как микролинзы на каждый пиксель и др., которые кардинально могут повысить параметры работы оптических систем, которые уже подошли к своим технологическим пределам в традиционных решениях. 5. Использование термальных изображений при контроле производственных процессов. Обычно термальные камеры использовались в основном для военных целей, в охранном видеонаблюдении. Термальные изображение в комбинации с CV могут обнаруживать такие аномалии в производственном процессе, которые не видны глазу или традиционным системам CV. Рис.20 - Наиболее перспективные отрасли для развития компьютерного зрения 40 Заключение В данной работе были рассмотрены теоретические основы искусственного интеллекта и компьютерного зрения, затронуты наиболее важные аспекты компьютерного зрения, которые очень помогают людям в повседневной жизни и в различных сферах. В результате исследования были рассмотрены отдельные конкретные компоненты компьютерного зрения, а так же проанализированы роль и тенденции развития CV, затронуты все самые актуальные сферы применения компьютерного зрения; рассмотрены подробно объекты, которые применяются в решениях компьютерного зрения. На основании вышеизложенного - цель работы достигнута, а вытекающие из нее задачи выполнены. 41 Список литературы 1) Интеллектуальные информационные системы «http://window.edu.ru/resource/462/79462/files/makarenko.pdf» 2) Роль и место компьютерного зрения среди интеллектуальных технологий «https://www.oracle.com/ru/artificial-intelligence/what-is-ai/» 3) компьютерное зрение «https://wreferat.baza» Режим доступа: URL: https://www.tadviser.ru/index.php/%D0%A1%D1%82%D0%B0%D1%82%D1%8 C%D1%8F:%D0%9A%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%8 2%D0%B5%D1%80%D0%BD%D0%BE%D0%B5_%D0%B7%D1%80%D0%B 5%D0%BD%D0%B8%D0%B5:_%D1%82%D0%B5%D1%85%D0%BD%D0%B E%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8,_%D1%80%D1%8B%D0%B D%D0%BE%D0%BA,_%D0%BF%D0%B5%D1%80%D1%81%D0%BF%D0% B5%D0%BA%D1%82%D0%B8%D0%B2%D1%8B#.D0.9E.D1.81.D0.BD.D0.B E.D0.B2.D0.BD.D1.8B.D0.B5_.D0.BF.D0.BE.D0.B4.D1.85.D0.BE.D0.B4.D1.8B _.D0.BA_.D1.80.D0.B5.D1.88.D0.B5.D0.BD.D0.B8.D1.8E_.D0.B7.D0.B0.D0.B4 .D0.B0.D1.87_.D0.A1V 4) текст научной статьи по специальности «Компьютерные и информационные науки» «https://cyberleninka.ru/article/n/kompyuternoe-zrenie-1» 5) системы компьютерного зрения «www.cameraiq.ru» Режим доступа: URL: https://www.cameraiq.ru/catalog/cameras/mashinnoe-zrenie/?utm_source=eLamagoogle&utm_medium=cpc&utm_campaign=%D0%9C%D0%B0%D1%88%D0% B8%D0%BD%D0%BD%D0%BE%D0%B5+%D0%B7%D1%80%D0%B5%D0% BD%D0%B8%D0%B5&utm_content=cid|15012747537|gid|127497602566|aid|55 4629595269|dvc|c|pid|kwd378696795968|pos||adn|g|mt|p&utm_term=%D0%BA%D0%BE%D0%BC%D0% BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80%D0%BD%D0%BE%D0%B 5%20%D0%B7%D1%80%D0%B5%D0%BD%D0%B8%D0%B5&gclid=CjwKC 42 AiAz--OBhBIEiwAG1rIOsVvrGZqxgpRRuqfCGYzq2ZR6hBdLOliAILwHnsadPXpWvtYYF9DxoCIl0QAvD_BwE – 6)Обзор продуктов Сайт «www.baslerweb.com» URl: https://www.baslerweb.com/ru/produkty/?creative=413332011281&keyword=%D 0%BA%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1 %80%D0%BD%D0%BE%D0%B5%20%D0%B7%D1%80%D0%B5%D0%BD% D0%B8%D0%B5&matchtype=p&network=g&device=c&gclid=CjwKCAiAz-OBhBIEiwAG1rIOksXljc5Oa9_0CK1iBGqtlhA9VmrmClcl4PkFwiABSCxd92XuhVxRoCMpEQAvD_BwE 7) Компьютерное зрение. Сайт «ru.wikipedia.org».URL : https://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%BC%D0%BF%D1%8C% D1%8E%D1%82%D0%B5%D1%80%D0%BD%D0%BE%D0%B5_%D0%B7% D1%80%D0%B5%D0%BD%D0%B8%D0%B5 8) Компьютерное зрение и области его применения «https://web.snauka.ru/issues/2019/12/90670» 9) Введение в компьютерное зрение «https://russianblogs.com/article/2130770738/» 10) Что такое компьютерное зрение и где его применяют «https://trends.rbc.ru/trends/industry/5f1f007e9a794756fafbfa83» 43 Приложение Протокол проверки на антиплагиат 44
