137981_lection2

Методы обработки и
распознавания изображений
Раздел 2
Лекция 3.
Методы вторичной обработки изображений.
Выделение локальных областей на изображении. Выделение и
описание контуров объектов.
Лектор – проф. Тропченко А.Ю.
Методы
сегментации
изображения
Методы
выделения
локальных
областей
(локализации
объектов)
(сегментации
изображений)
Методы сегментации
Методы разметки точек
Метод порогового
ограничения
по яркости
Методы выделения границ
Метод наращивания
областей
2
Классификация методов выделения и распознавания
объектов на изображении
Методы сегментации
Методы порогового
ограничения
Бинаризация по
порогу
Методы наращивания областей
Сегментация путем
выделения границ
Центроидное связывание
Алгоритм слияния-расщепления
Градиентные методы
Методы проведения контуров
Бинаризация по
диапазонам
Сегментация с
адаптивным выбором
порога
Методы распознавания объектов
Корреляционные методы
Дискриминантные методы
Синтаксические методы
Результаты анализа методов выделения и распознавания
объектов на изображении
Название
метода
Методы
порогового
ограничения
Достоинства


Простота реализации
Универсальность
Простота реализации
 Возможность оптимального учета
дополнительной априорной инф. о
расположении объекта

Центроидное
связывание
Алгоритм слияниярасщепления
Возможность оптимального учета
дополнительной априорной инф. о
расположении объекта

Градиентные
методы
Методы
проведения
контуров
Корреляционные
методы
Дискриминантные
методы
Синтаксические
методы
Недостатки
Учет априорной инф. только на
начальном этапе

Отсутствие правила для выбора
порога, фигурирующего в критерии
однородности области
 Необходимость повторных проходов
в случае слияния областей

Необходимость большого объема
памяти для хранения промежуточных
результатов

Невысокая точность
 Требует больших вычислительных
затрат


Высокая точность
Простота реализации

Высокая точность и скорость распознавания


Инвариантность к масштабу


Неустойчивы к геометрическим
искажениям объекта

Большая трудоемкость
Невысокая точность распознавания
Неустойчивость при наличии
случайного шума

4
Построение алгоритма сегментации с адаптивным
выбором порога
Построение гистограммы распределения яркостей исходного
изображения.

Поиск координаты глобального максимума гистограммы Pф и
определение типа изображения: - темный объект на светлом фоне
или наоборот.

Поиск
координаты
второго
максимума
гистограммы
Pо,
соответствующей области объекта в пределах {0, Pф} или {Pф,
255}.

Поиск координаты максимума гистограммы Pмах в пределах {Pф, Pо}
или {Pо, Pф}.

Вычисление порога Т согласно следующему правилу:
Т = ( Рмах + Рф ) / 2, при Pо - Pмах => Pф – Pмах
Т = ( Pо + Pмах ) / 2, при Pо - Pмах < Pф - Pмах

Разметка исходного изображения, с помощью полученного порога Т,
то есть, пикселю исходного изображения присваивается значение 1,
если его яркость находится в диапазоне [0, Т], в противном случае
ему присваивается значение 0.

5
Укрупненная схема выделения областей на основе
адаптивного выбора порога
Начало
Загрузка исходного изображения из файла
Сегментация
Вывод результатов
сегментации
Загрузка К-ого эталона
Распознавание путем вычисления и сравнения проекций
Вывод результатов
Конец
6
Примеры выделения объектов на различных
изображениях
На данных рисунках приведены
примеры выделения светлого
объекта на темном фоне,
темного объекта на светлом
фоне и темного объекта на
неоднородном светлом фоне.
7
Градиентная обработка при линейной
Цели и задачи
работы
фильтрации
Для выделения контуров методом линейной фильтрации наиболее часто используют
следующие виды фильтров:
1. разностный амплитудный фильтр
yij 
1
[(ai, j  ai, j 1 )  (ai1, j  ai1, j 1 )]2  [(ai, j  ai1, j )  (ai, j 1  ai1, j 1 )]2
2
2. максимальный разностный амплитудный фильтр
yij  max(ai, j ; ai, j1; ai1, j ; ai1, j1 )  min(ai, j ; ai, j1; ai1, j ; ai1, j1 )
3. фильтр Робертса
yij  (ai, j  ai1, j 1 ) 2  (ai1, j  ai, j 1 ) 2
4. фильтр Превитта
yij 
1
[(ai, j  ai, j 2 )  (ai1, j  ai1, j 2 )  (ai2, j  ai2, j 2 )]2 
2
[(ai, j  ai2, j )  (ai, j 1  ai2, j 1 )  (ai, j 2  ai2, j 2 )]2
8
Построение цепного кода Фримена для
Цели и задачи
векторного
описания работы
контура объекта
9
Скелетизация
Цели
и задачи изображений
работы
Под скелетизацией или утоньшением будем понимать преобразование изображения,
удовлетворяющее следующим условиям:
после преобразования все линии имеют толщину в 1 элемент;
преобразование не нарушает топологию символа;
преобразование не нарушает размеров символа.
i 1
i
i 1
3
4
5
2 11
a1 01
6171
1 1 1
1 1 1
1 1 1 1
1 1 1 1 1
1 1 1 1 1
10
Цели и задачи работы
Переход от изображения к набору признаков в ходе
вторичной обработки
исходное изображение
дискретизация
предварит.
обработка
матрица отсчетов
функциональное
представление
выделение
особенностей
векторизация
морфологич.
процедуры
множественные
представления
вторичная обработка
скелет
признаковые
представления
геометрические признаки
контур
топологические признаки
распознавание
площадь
периметр
эксцентриситет
моменты
инерции
число углов
число пустот
11
Описание процесса выделения локальной
области
N1
I ( X , Y )   f s ( x, y)
s 1




где I(X,Y) - исходное изображение;
fs(x,y) - функция, аппроксимирующая локальную область Ds с
размерами lxs, lys с центром {x0s; y0s};
s - порядковый номер области;
N1 - число областей.
12
Примеры аппроксимирующих функций для
локальных областей
13
Алгоритм выделения областей на основе
аппроксимации
Начало
Чтение файла .bmp
Определение точки максимальной яркости
да
Выделение локальной области, которой принадлежит ТМЯ
Аппроксимация выделенных областей
при помощи гармонических функций
Вычитание значения функции
из исходного изображения
да
амплитуда> пороговой
нет
Конец
14
Методы обработки и
распознавания изображений
Раздел 2.
Лекция 4.
Методы сжатия цифровых изображений и видео. Стандарт JPEG
Лектор – проф. Тропченко А.Ю.
Классификация методов сжатия видеоинформации
Методы сжатия
Сжатие без потерь
Сжатие способом кодирования серий (RLE)
Ксж = 2
Метод Хаффмана (Huffman)
Ксж = 3
Метод Лемпеля-Зива (LZ-compression)
Ксж = 3-4
Метод Лемпеля-Зива-Велча (LZW-compression)
Ксж = 4
Сжатие с потерями
Метод JPEG
Ксж = 2 - 30
Метод MPEG
Ксж = 2 - 30
Метод WIC (Wavelet Image Compression)
Ксж = 10 - 50
Фрактакльный метод сжатия изображений
Ксж = 20 - 50
Метод JBIG
Ксж = 2-3
Метод Lossless JBIG
Ксж = 2
16
ОСНОВНЫЕ ПАРАМЕТРЫ СЖАТИЯ
Коэффициент сжатия (Ксж).
KC 
V1
V2
Ошибка преобразования.
Среднеквадратичное
изображением:
отклонение
N


(ско)
между
исходным
и
полученным
I ( x , y )  I~x , y 
2
i
i
i
i
N2
i , j 0
l
* 100%
Разностная мера:
Rij  I ij  
для i  1, N , j  1, M
,
Отношение сигнал \ шум (SNR)
SNR = 10log10(Einp/En),
(дБ)
Время преобразования:
tсж = tоп + tуп
tвосст = tрасп + tоб
17
Классификация методов сжатия изображений с потерями
Методы сжатия изображений с
потерями
Преобразования во
временной области
Частотно-временные
преобразования
Кодирование без
предсказания
Блоковые
преобразования
ИКМ
УБК
Кодирование с
предсказанием
 ДИКМ
 ДМ
ДКП
ПКЛ
Частотновременные фильтры
 ДВП
Преобразования на
основе построения
модели сигнала
• Фрактальное
сжатие
• Геометрическая
аппроксимация
областей
• Веджлетпреобразование
Гибридные методы
18
Схемы компрессии и декомпрессии для методов с
частотно-временными блоковыми преобразованиями
Исходное
изображение
Разбиение
на блоки
Прямое
преобразование
Квантование
а)
Кодирование
(вторичное сжатие)
Сжатое
изображение
Сжатое
изображение
Декодирование
Обратное
преобразование
Деквантование
б)
Группировка
блоков
Восстановленное
изображение
19
20
Сжатие по стандарту JPEG
1. Преобразование RGBYUV:
Y
0.299
U  0.5
V
0.1687
0.587
 0.4187
 0.3313
0.114
R
0
 0.0813  G  128
0.5
B
128
2. Децимация компонент U и V с коэффициентом 2
3. Фрагментация на блоки 8*8
4. ДКП по строкам и столбцам фрагмента:
F (u, v) 
 2y 1

 2x 1

c(u,v) 7 7


*   f(x, y)*cos 
*u*π  * cos 
*v*π 


 16

4
x  0y  0
 16



5. Квантование матрицы спектральных компонент
z kl  round(y
kl
/q kl ),
k, l  0,1,...,7
q kl- kl-й элемент матрицы квантования Q размера 8х8
21
Схемы компрессии и декомпрессии для методов на
основе аппроксимации сигнала
Исходное
изображение
Анализ
изображения
Параметры
аппроксимации
Квантование
а)
Сжатое
изображение
Декодирование
Кодирование
(вторичное сжатие)
Сжатое
изображение
Параметры
аппроксимации
Деквантование
б)
Синтез
изображения
Восстановленное
изображение
22
Классификация областей сжатия в
методах сегментации






Векторные области
Квадратная, либо прямоугольная область.
Область, представляющая собой многоугольник, все стороны
которого параллельны осям координат.
Область, представляющая собой выпуклый многоугольник.
Область, представляющая собой произвольный многоугольник.
Растровые области
Область (возможно, вогнутая), произвольный вертикальный или
горизонтальный срез которой не пересекает границу области
более чем в двух местах (требование отсутствия «дырок»).
Замкнутая область произвольной формы.
23
Методы сжатия на основе векторной сегментации.
Использование древовидных структур
Узлы дерева
Уровни декомпозиции
j=0
j=1
Оконечные узлы
(листья)
j=2
j=3
Стратегии декомпозиции:
Наращивание веток
(разбиение областей)
Усечение веток
(слияние областей)
24
Методы сжатия на основе векторной сегментации:
обработка локальных областей

Бимлеты, риджлеты,
курвлеты (D.L. Donoho,
X. Huo)

Аппроксимация
сигнала билинейной
поверхностью
(M. Dalai, R. Leonardi)

Спектральные
преобразования
A
Z
N
0
M
Y
X
Исходное
изображение
Адаптивная
сегментация
Спектральное
преобразование
Сжатое
изображение
Энтропийное
кодирование
Квантование
коэффициентов
25
Сегментация изображения с адаптивным выбором области
Исходное изображение
Y-плоскость. Число областей: 216
Lx=Ly=3, Yp=44, Xmin=Ymin=10
Y-плоскость. Число областей: 514
Cb-плоскость. Число областей: 181
Lx=Ly=3, Yp=44, Xmin=Ymin=6
Lx=Ly=3, Cbp=21, Xmin=Ymin=6
26
Результаты сжатия. Сплошная линия – стандартная схема
JPEG, пунктир – схема с адаптивной сегментацией
Изображение "Peppers"
RMSE
RMSE
Изображение "Oldman"
11
9,5
9
8,5
7
7,5
5
6,5
b
(бит/пикс.)
3
3
0,6
1,2
1,8
2,4
5,5
0,45
8,4
1,15
Изображение "Baboon"
RMSE
RMSE
Изображение "Lena"
0,8
b
(бит/пикс.)
1,5
18
17
7,4
16
6,4
15
5,4
14
4,4
0,3
0,6
0,9
1,2
b
(бит/пикс.)
1,5
13
0,8
1,1
1,4
1,7
b
(бит/пикс.)
2
27
Результаты сжатия: сравнение разностных изображений
Базовый метод
Модифицированный метод
Y-плоскость, K=47.5
Cr-плоскость, K=47.5
28
Преобразование сигнала в трехмерном пространстве

Во временной области:
разбиение сигнала плоскостями,
перпендикулярными основанию.

В частотной области: разбиение
сигнала на сегменты плоскостью,
параллельной плоскости основания.
a
a
n
n
m
m
a
n

Декомпозиция
простейшего
сигнала:
1
m
3
29
Пример пространственной
декомпозиции сигнала
Исходный рисунок
Визуализация декомпозиции (OpenGL)
30
Аппроксимация сигнала
билинейными поверхностями
A
Z
Плоскость
(3 точки)
0
N
M
X
Z
A
Билинейная
поверхность
(4 точки)
0
N
M
Y
Y
X
31
Результаты эксперимента
3,70
bpp
3,20
Модифицированный
алгоритм
Базовый алгоритм
2,70
2,20
1,70
1,20
1
2
3
4
5
6
7
δ
Модификация схемы сжатия на основе аппроксимации
билинейными поверхностями
32
Методы вычисления векторов квантования

Метод Ву-Гершо
(однонаправленная
оптимизация)
Стартовая позиция
D
Требуемое D
Оптимальное D
Оптимальный R

Полученный
результат
Оптимальный
результат
Требуемый R
R
Метод Фунга-Паркера
(двунаправленная оптимизация )
D
Оптимальный результат
Требуемое D

Схема «RD-OPT»
Стартовая позиция
Оптимальный R RmaxRmin
R
33
Использование весового критерия. Его типы

Пороговое ограничение спектральных
коэффициентов:
1, z n, m  P
M 1


max
Tn   C n , C n  
, 0  P  zm
0, z n, m  P
m0


Критерий средних амплитуд:

1 M 1
Tn 
z n, m

M m0
Критерий максимальных амплитуд:

Tn  max z n, m
34
Значения некоторых типов весового критерия для
различных тестовых изображений
Критерий средних амплитуд
100
10
Изображение
"Lena"
10
Cb
Cr
1
Изображение
"Oldman"
1
11
21
31
41
51
61
0,1
1
1
11
21
31
41
51
61
0,1
0,01
0,01
0,001
Критерий максимальных амплитуд
T
1000
Y
Cr,Cb
800
600
400
200
0
n
1
11
21
31
41
51
61
35
Определение функции параметра квантования


( z , n)  (T )  a1 


f z ,n max   f z , n 


f z ,n max   f z ,n min
Линейное преобразование

(T )

Преобразование с f

a2  a1 
1
1-sin(Pi*x/2)
1-x
0,8
1-sin(Pi*x/2)^3
a2
0,6
0,4
a1

Tmin

T (z )

Tmax
0,2
0
0
0,2
0,4
0,6
0,8
1
36
Результаты вычисления вектора квантования
Стандартный вектор
Δ
Δ
120
120
80
80
Y
UV
40
0
0
20
40
60
Y
UV
40
n
0
0
Δ
20
40
60
n
Δ
120
120
80
80
Y
UV
40
0
0
Сгенерированный
адаптивно вектор
20
40
60
Y
UV
40
n
0
0
20
40
60
n
37
Результаты компрессии тестовых изображений
Изображение "Baboon"
10
RMSE
RMSE
Изображение "Lena"
8
20
15
6
10
4
5
2
0
0
3
6
9
b
(бит/пикс.)
12
0
0
9
8
12
16
20
Изображение "Oldman"
RMSE
RMSE
Изображение "Peppers"
12
4
b
(бит/пикс.)
12
9
6
6
3
3
0
0
3
6
9
b
(бит/пикс.)
12
0
0
2
4
6
b
(бит/пикс.)
8
38
Результаты сжатия: сравнение разностных изображений
Базовый метод
Модифицированный метод
Y-плоскости, K=10.1
Cb-плоскости, K=10.1
39