Текстовый запрос

Поиск статических изображений по
содержанию:
использование текстового запроса
Наталья Васильева
Natalia.Vassilieva@t-systems.ru
9 октября 2004
Поиск изображений
 Поиск по ключевым словам (Description Based Image Retrieval  Поиск по содержанию (Content Based Image Retrieval - CBIR)
Запрос
Текстовый
запрос
Картинкаобразец
Текст
Картинка
Эскиз
9 октября 2004
DBIR)
поиск
индексация
CBIR : традиционный подход
изображение
вычисление
сигнатур
запрос
вычисление
сигнатур
база данных
сравнение
уточнение запроса
9 октября 2004
результат
Основные проблемы
 Семантический разрыв
 Сложность процесса визуального восприятия
 Точность моделей – время обработки запроса
 Комбинирование различных моделей и метрик
9 октября 2004
Основные цели
 Запрос на естественном языке
 Согласованность с особенностями человеческого
восприятия
 Уменьшение затрат на индексирование
 Построение модели изображения, включающей
цветовые и текстурные характеристики
9 октября 2004
Архитектура системы (I)
I. Подготовка
I. Подготовка
II. Индексация
Пляж, море,
песчаный берег,
пальмы, природа, …
 Выборка небольшого подмножества
 Кластеризация выбранного подмножества
 Вычисление средних характеристик для
каждого кластера
 Описание кластеров с помощью
ключевых слов
9 октября 2004
III. Поиск
Архитектура системы (II)
II. Индексация
 Вычисление сигнатур для всех изображений в базе
 Классификация изображений базы по созданным
кластерам – сравнение характеристик отдельно
взятого изображения со средними характеристиками
кластеров
9 октября 2004
Архитектура системы (II)
III. Поиск
Пользователь
Система
текстовый запрос
n изображений из кластера
Определение кластера
Оценка результата
оценка результата,
запрос-образец
результат
Оценка результата
уточненный запрос
…
9 октября 2004
Уточнение кластеров,
поиск по содержанию
Модель изображения
S(color, size, x, y)
 color – усредненный цвет пятна;
 size – размер цветового пятна (%);
 x, y – координаты центра пятна;
Допущения:
 32 цветовых отрезка
 Цвет учитывается, если > 3%
9 октября 2004
Примеры (1)
9 октября 2004
Примеры (2)
9 октября 2004
Примеры (3)
9 октября 2004
Примеры (4)
9 октября 2004
Недостатки
 Выбор цветовых отрезков
 В зависимости от изображения
 Порог значимости цвета
 Эксперименты, в зависимости от количества
других цветов
 Вычисление центра пятна
 Сегментация
 Форма пятна
 Направленный элипс
9 октября 2004
Особенности восприятия человеком
 Нелинейное восприятие цвета
 Нелинейная зависимость от яркости
 Ориентация и расположение объектов
 Другие ?
9 октября 2004
В дальнейшем:
 Политика реорганизации кластеров в
зависимости от оценок пользователя
 Усложнение модели изображения,
вероятностная модель?
 Совместная оценка цвета и яркости (сейчас
только цвет)
 Сегментация изображений, построение
кластеров по сегментам
9 октября 2004
Спасибо!
Наталья Васильева
Natalia.Vassilieva@t-systems.ru
9 октября 2004