Цель исследования

Цель исследования
Целью данной научно-исследовательской работы является изучение алгоритмов сшивки и применение
сшивки на практике.
Задачи:
1. Проведение анализа объектной среды и предметной области
2. Патентное исследование
3. Проведение экспериментов на реальных объектах
4. Написание отчёта к выполненной работе
Предпроектное исследование
Метод сшивки
1. Введение
Задача сшивки цифровых изображений, полученных с помощью видео- или фотокамеры
робототехнической установки или подводного аппарата, является специфичной в виду того, что
последовательные изображения на снимках могут быть не только смещены друг относительно друга, но и
повёрнуты на неизвестные углы (рис. 1), а также иметь различный масштаб.
Таким образом, задачей сшивки является определение взаимного расположения изображений без
использования навигационной информации с использованием только самих изображений [1].
Рис. 1 – Пример сшивки цифровых изображений
Существуют специальные алгоритмы для решения данной задачи [2,3], однако, они предъявляют высокие
требования к вычислительным ресурсам системы, что затрудняет их использование для реализации в
реальном времени в условиях ограниченных вычислительных ресурсов.
В данной работе предлагается алгоритм, при разработке которого учитывались данные требования.
Особенностью этого алгоритма является использование преимущественно целочисленной арифметики.
2. Этапы предлагаемого алгоритма
Рассмотрим основные этапы предлагаемого алгоритма сшивки изображений.
1. Предварительная обработка изображений
Данный этап включает в себя загрузку изображений в память в пирамидальном представлении
(изображение хранится во всех разрешения, кратных степени двойки от исходного до изображения
размером 1 на 1 пиксель), исправление оптических искажений, выравнивание освещённости
изображений. При загрузке изображения переводятся из цветного представления в оттенки серого.
2. Координатная привязка изображений (регистрация изображений)
Существует множество алгоритмов координатной привязки изображений, которые можно разделить на
две большие группы:
К первой группе относятся алгоритмы, основанные на поиске особых точек (областей) на
изображениях для их координатной привязки.
Ко второй группе относятся алгоритмы, основанные на итерационном методе с применением аппарата
гипотез, когда после установления соответствия пары областей проверяется соответствие соседних к ним
областей, и если такое соответствие не обнаруживается, то гипотеза отвергается, и поиск
соответствующих друг другу областей продолжается до тех пор, пока соответствие областей и соседних с
ними областей не будет найдено.
Предлагаемый в данной работе алгоритм относится ко второй группе.
Патентное исследование
Перечень сокращений, условных обозначений, символов, единиц, терминов
Обработка изображений — любая форма обработки информации, для которой входные данные
представлены изображением, например, фотографиями или видеокадрами.
Изображе́ние — объект, образ, явление, в той или иной степени подобное (но не идентичное)
изображаемому или сам процесс их создания.
Панорама (образовано от Греческого πᾶν "все" + ὅραμα "вид, зрелище") — Вид на объект
характеризующийся большой глубиной обозреваемого пространства. Термин панорама ввел в речевой
оборот еще в конце XVIII века ирландский художник Роберт Баркер, для обозначения (классификации)
написанной им картины Эдинбурга.
Компьютерное зрение — теория и технология создания машин, которые могут производить
обнаружение, слежение и классификацию объектов.
Теория распознавания образов — раздел кибернетики, развивающий теоретические основы и методы
классификации и идентификации предметов, явлений, процессов, сигналов, ситуаций и т. п. объектов,
которые характеризуются конечным набором некоторых свойств и признаков.
Проприета́рное программное обеспечение (англ. proprietary software; от proprietary — частное[1],
патентованное[1], в составе собственности[1] и software — программное обеспечение) — программное
обеспечение, являющееся частной собственностью авторов или правообладателей и не удовлетворяющее
критериям свободного ПО (наличия открытого программного кода недостаточно). Правообладатель
проприетарного ПО сохраняет за собой монополию на его использование, копирование и модификацию,
полностью или в существенных моментах. Обычно проприетарным называют любое несвободное ПО,
включая полусвободное.
[JP] - Япония.
[US] - США.
[KR] - Южная Корея.
[CN] - Китай.
[DE] - Германия.
[RU] – Российская Федерация.
Общие данные об объекте исследований
1. Проблемы построения панорамных изображений (панорам) встречается как во многих областях
научных деятельности, так и в конкретных прикладных задачах;
2. Построение панорам в микроскопической диагностике обусловлена следующими особенностями:
a. Яркость, контрастность, цветность должны оставаться одинаковой на протяжении всей
панорамы;
b. Необходимо сохранять пропорции информативных объектов на изображениях;
c. Погрешности сшивки должны быть минимальны;
Количество патентов по компаниям
Поиск по ключевому слову Panorama выдал 1931 результат, из них самыми активными заявителями
были выбраны 10 компаний:
ЗАЯВИТЕЛЬ
КОЛИЧЕСТВО
ПАТЕНТОВ
CANON
9
HITACHI
9
SONY CORP
19
TOSHIBA CORP
2
SAMSUNG
74
FUJIFILM CORP
2
MICROSOFT CORP
1
LG
14
OLYMPUS
5
YOSHIDA
5
Табл.2 Количество патентов по заявителям.
Ряд 1
80
70
60
50
40
30
Ряд 1
20
10
0
Граф.1 Количество патентов по заявителям.
Количество патентов по запросу panorama по годам
Распределение заявителей по годам за последние 21 год выглядит следующим образом:
Год
2011
2010
2009
2008
2007
2006
2005
2004
2003
2002
2001
2000
1999
1998
1997
1996
1995
1994
1993
1992
1991
Количество
патентов
62
54
53
50
64
73
45
25
21
20
18
26
20
8
17
14
15
14
10
9
3
Табл.3 Количество патентов по годам.
Количество патентов
80
70
60
50
40
Количество патентов
30
20
10
1994
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
0
Граф.2 Количество патентов по годам.
Количество патентов по запросу panorama по странам
DE
5%
RU
5%
Остальные
11%
CN
12%
US
16%
KR
17%
JP
34%
Граф.3 Количество патентов по странам.
(JP-Япония, US-США, KR-Южная Корея, CN-Китай, DE-Германия)
Заключение к патентному исследованию
 Поиск выявил довольно большое количество патентов по методам построения панорамных
изображений.
 Было выявлено, что ряд фирм имеет такие патенты в собственных странах и в странах
потенциальных потребителей продуктов патентования.
 Предварительный поиск патентов показал, что патентование в данной области достигло пика в
2011 г, и продолжает расти.(см. Граф 2.)
 Рост количества патентов не замедлялся с 1991 г. что может говорить о востребованности данной
технологии в мире.
 Этот рост может быть обусловлен быстрым развитием высоких технологий в начале XXI века и
внедрения их в повседневную жизнь
 Основными корпорациями, представляющими интерес, являются корпорации производящие
современную электронику, такие как SONY CORP и SAMSUNG, а также корпорации
специализирующиеся на производстве устройств для фиксации изображений (фото/видеокамеры),
например, CANON и OLYMPUS. (см. Граф 1.)
 Ведущими странами патентования являются Япония(34%), Корея(17%), США(16%).(см. Граф 3.)
 На территории РФ зарегистрировано всего 15 патентов связных с системами построения
панорамных изображений, по большей части это малоизвестные фирмы или физические лица.
Собственные примеры
Я использовал Paint.NET для разрезки изображения, загруженного из интернета, на две части,
затем при помощи программы panorama.exe сшивал их в одну картинку, выполняя действия :
1. Harris
2. Correlation
3. RANSAC
4. Blend
Пример:
+
=
=
Теперь я просто загрузил две похожие картинки, и при помощи программы panorama.exe также
сшивал их в одну картинку, выполняя действия :
1. Harris
2. Correlation
3. RANSAC
4. Blend
Пример:
+
=
ЗАКЛЮЧЕНИЕ К РАБОТЕ:
 В результате работы были исследованы алгоритмы сшивки
 Это исследование показало что существует несколько методов сшивки изображений, такие как:
o Вычитание
o Сшивка по угловым точкам
 Проведено патентное исследование, в результате которого были получены данные о количестве
патентов в мире, количестве патентов в год и по странам
 Проведён эксперимент по сшивке как контрастных и резких изображений, так и малоконтрастных
и размытых, результатами эксперимента являются:
o Малоконтрастные сшиваются плохо
o Необходимы общие зоны на изображениях