СРАВНЕНИЕ ЦВЕТА ОБЪЕКТОВ НА СЛОЖНЫХ СЦЕНАХ Е. И

СРАВНЕНИЕ ЦВЕТА ОБЪЕКТОВ НА СЛОЖНЫХ СЦЕНАХ
Е. И. Степанькова, И. П. Шумский,
Р. В. Телятников, Е. С. Матусевич
ООО «Регула»
Минск, Беларусь
E-mail:kvayavodava@regula.by, ivan.shumsky@regula.by,
raman.tsialiatnikau@regula.by, katsiaryna.harshkova@regula.by
Представлен метод описания цветных объектов на сложных сценах, алгоритм сравнения таких объектов по цветовому тону, используя метод гистограмм и их квантизацию. Описанный алгоритм был разработан после анализа
большого количества различных изображений в нескольких цветовых моделях
при решении задачи распознавания объектов. Размеры объектов, их форма и
цвет могут быть произвольными. Методы выделения объектов могут отличаться от рассматриваемых.
Ключевые слова: цветовой тон, квантизация.
Введение
На данный момент все большее распространение получают цветные цифровые
фото- и видеокамеры. Это и системы видеонаблюдения, и медицинское оборудование, и многое другое. Их использование приводит к необходимости анализа объектов
на сложных цветных сценах. Эффективные методы описания цветных объектов необходимы при решении таких задач, как распознавание, верификация и многих других. Существуют различные подходы и методы для описания и выделения объектов
произвольной формы, размеров и цвета, и под каждую задачу разрабатываются алгоритмы, которые дают приемлемые результаты для их эксплуатации [1]. Причинами,
влияющими на устойчивость работы таких систем, являются изменения условий освещенности (интенсивность и спектр), цветовой разброс однотипных объектов и пр.
Представленный в статье алгоритм позволяет сравнивать объекты при разбросе цветового тона, что значительно повышает устойчивость работы подобных систем. Разработка алгоритма производилась для решения задачи распознавания и верификации
документов (паспортов, идентификационных карт и др.) по их цветным фотографическим изображениям. Особенности данной задачи в том, что местоположение цветных объектов на изображении постоянно, что позволяет использовать простую схему
описания изображения документа. На изображениях документов зачастую присутствуют блики, голограммы и другие элементы, которые делают невозможным выделение структурных особенностей. К тому же многие документы имеют схожий формат
заполнения, и отличаются лишь по цвету бланка.
Указанные факторы ухудшают работу структурных алгоритмов распознавания.
Именно поэтому возникла задача сравнения цветных изображений, вариант решения
которой представлен в данном докладе.
Описание объекта (сцены)
Стоит отметить, что способ описания зависит от решаемой задачи. Важное значение имеют такие факторы, как форма и размеры объектов, их контраст относительно сцены, постоянство различных параметров объекта и сцены. Под каждую задачу можно построить такое описание, которое будет наиболее полно соответствовать особенностям объекта (сцены). Для объяснения работы метода будет использоваться довольно простое описание, которое позволяет наглядно продемонстрировать
работу предлагаемого алгоритма. В данной задаче будем использовать цветовую модель HLS[2]. Алгоритм состоит из двух частей – этап обучения и этап проверки.
Этап обучения состоит из следующих шагов:
• разбиение изображений на элементарные области (далее – ЭО)
• расчет гистограммы цветового тона для каждой элементарной области
• сравнение гистограмм ЭО предыдущего и следующего изображений
• формирование карты стабильности.
Этап проверки состоит из следующих шагов:
• разбиение изображения на элементарные области
• расчет гистограммы цветового тона для каждой элементарной области
• сравнение гистограмм ЭО с учетом карты стабильности
• формирование результата сравнения.
Для получения описания документа необходимо разбить изображения на некоторое количество одинаковых по размеру прямоугольных областей. В нашем случае на
изображение накладывается прямоугольная сетка, разбивающая его на мелкие области.
Далее рассчитываются гистограммы цветового тона для каждой ЭО. Расчет гистограммы цветового тона имеет свою особенность. В гистограмму вводятся два дополнительных столбца. Первый из них – количество «черных» пикселей, т. е. пикселей с низкой яркостью. Второй дополнительный столбец гистограммы предназначен
для «серых» пикселей – для тех, у которых значения насыщенности являются недостаточно высоки. Для каждой задачи задаются значения яркости и насыщенности, начиная с которых разработчик считает целесообразным оценивать цветовую составляющую, так как при низких значениях яркости или насыщенности даже значительное изменение цветового тона для человека неразличимо. Формирование столбца
«черных» пикселей происходит по следующим правилам:
• пиксели, имеющие значения яркости меньше нижней границы интервала, относятся к «черным»
• пиксели, имеющие значения яркости больше верхней границы интервала, относятся к «цветным»
• пиксели, яркость которых попадает внутрь заданного интервала, распределяются между столбцом «черных» и «цветных» пикселей с коэффициентами, определяемыми формулами 1 и 2:
L − Lmin
k color = cur
,
(1)
Lmax − Lmin
k black = 1 − k color ,
(2)
где Lcur – текущее значение яркости, Lmin – нижняя граница интервала, Lmax – верхняя граница интервала.
Другими словами, часть количества пикселей, попадающих внутрь заданного интервала, относится к «черным», а часть – к «цветным».
В задаче использовались значения Lmin = 10 , Lmax = 15 . Аналогичным образом
производится расчет столбца «серых» пикселей по каналу насыщенности.
Данные интервалы перехода вводятся для исключения ситуации значительного
различия гистограмм при значениях яркости и насыщенности близких к граничным.
Сравнение гистограмм цветового тона
Сравнение гистограмм цветового тона на этапе обучения и на этапе проверки
происходит одинаково. Сравнение происходит в три этапа:
1) квантизация гистограммы цветных пикселей;
2) сравнение полученных квантов;
3) формирование результата сравнения с учетом «серых» и «черных» пикселей.
1) Для выделения пиков цвета гистограмма цветового тона квантуется. Для этого
формируется интегральная гистограмма, которая получается из исходной путем суммирования пикселей в окне фиксированного размера. Для данной задачи окно задается шириной 20 градаций. Далее по интегральной гистограмме находится максимальный пик, и на исходной гистограмме цветового тона выделяется квант, соответствующий центру тяжести пикселей в фиксированном окне, а все значения в этом
окне исходной гистограммы обнуляются. Поиск начинается заново, пока не найдутся
все кванты на гистограмме. Если расстояние между двумя найденными квантами на
гистограмме меньше заданного окна, то данные кванты объединяются в один. Это
необходимо для того, чтобы в одном окне присутствовал только один квант. Далее
значения в квантах нормируются в интервал [0, 1], чтобы можно было обрабатывать
изображения в различных разрешениях.
2) Для сравнения квантов необходимо выделить соответствующие кванты на гистограмме исходного изображения и на гистограмме изображения, полученного на
этапе обучения. Кванты считаются соответствующими, если расстояние между ними
не более заданного, иначе кванты считаются несоответствующими. Для данной задачи это расстояние равно заданному окну. Степень подобия квантов считается по
формуле 3:
(3)
mCij = (1− | pi − p j |) * kH ,
где | pi − p j | – модуль разности величин двух соответствующих квантов на i-том и
j-том изображениях; kH –коэффициент соответствия квантов, рассчитываемых по
формуле:
1, (mi − m j ) < 10

kH = 1 − (| mi − m j | −10) / 10,10 < (mi − m j ) < 20

0, (mi − m j ) > 20
| mi − m j | – модуль разности положений двух соответствующих квантов на i-том и
j-том изображениях.
После обработки всех соответствующих квантов рассчитываются степени различия
несоответствующих квантов (на каждом сравниваемом изображении) по формуле 4:
(4)
mRij = ∑ pi + ∑ p j ,
где pi – величина несоответствующего кванта на i-том изображении; p j – величина
несоответствующего кванта на j-том изображении.
Общая степень подобия по цветовому тону рассчитывается по формуле 5:
(5)
mHueij = mCij − mRij ,
3) Общая степень подобия элементарных областей по цвету рассчитывается по
формуле 6:
(6)
pl = 0.8 * mHueij + 0.1* mBlack ij + 0.1* mGrayij ,
где mBlack ij – результат пересечения соответствующих столбцов «черных» пикселей
на i-том и j-том изображениях; mGrayij – результат пересечения соответствующих
столбцов «серых» пикселей на i-том и j-том изображениях; l – индекс элементарной
области.
Формирование карты коэффициентов
На этапе обучения формируется карта стабильности. Коэффициент стабильности
для каждой элементарной области рассчитывается по формуле 7:
kl = 1 −
t max − pl , t min < p < t max ,
l
t max − t min
(7)
где pl – среднее арифметическое степеней подобия для данной области по всем изображениям; t min – установленный порог, ниже которого коэффициент стабильности
k l считается равным 0. Для решаемой задачи этот порог задается 0,7; t max – установленный порог, выше которого коэффициент стабильности k l считается равным 1.
Для решаемой задачи этот порог задается 0,9; l – индекс элементарной области.
Другими словами, коэффициент стабильности является средней степенью совпадения цвета для определенных элементарных областей. Карта стабильности определяет вклад каждого значения элементарной области в общий результат.
Формирование результата сравнения
с учетом карты коэффициентов
На этапе проверки общая степень подобия на изображении рассчитывается с учетом коэффициентов из карты стабильности по формуле 8:
n
prob =
∑ min(1, p +(1 − k )) * k
l =0
l
l
n
∑k
l =0
2
l
,
(8)
2
l
где pl – степень подобия цвета l-той элементарной области; 1 − k l – средняя степень
различия цвета l-ой элементарной области; k l2 – вес сегмента l-той элементарной области; n – количество элементарных областей. k l2 вводится для того, чтобы занизить
вероятности непохожих областей.
Заключение
Данный алгоритм был разработан для использования в системе распознавания
документов. Полный цикл сравнения изображений, полученных с камеры с разрешением 3 мегапикселя, происходит менее чем за 1 миллисекунду. Общее время, которое
тратится на этап проверки, составляет порядка 300 миллисекунд для 1000 классов.
Использование свойства независимости цветового тона от уровня освещенности, а
также подтверждение пространственного распределения яркости позволили решить
задачу распознавания типа документа без применения структурных алгоритмов.
Библиографические ссылки
1.
2.
3.
Forsyth D. A., Ponce J. Computer Vision:A Modern Approach. 2002.
Гонсалес Р., Вудс Р. Цифровая обработка изображений. 2005.
Гонсалес Р., Вудс Р. Цифровая обработка изображений. 2005.