Нижегородский государственный университет им. Н.И. Лобачевского Лаборатория Информационных технологий (ITLab) Разработка параллельной реализации трекинга объектов с использованием библиотеки Intel Array Building Blocks Список участников Кайнов Олег Ларцов Иван Ханова Татьяна Руководитель Кустикова Валентина Содержание Терминология Постановка задачи Схема решения задачи Описание последовательной реализации Схема распараллеливания этапов алгоритма Описание параллельной реализации – Скорость работы при вызове call и обычном вызове Результаты экспериментов – Сравнение последовательной и параллельной реализации Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 2 Постановка задачи Цель: Оценить эффективность применения Intel Array Building Blocks для трекинга объектов. Задачи: Реализовать схему двумерного сопровождения объектов с использованием библиотеки OpenCV. Разработать параллельную версию алгоритма, используя библиотеку Intel Array Building Blocks. Оценить время работы параллельной версии. Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 3 Схема решения задачи Построение модели фона на основе имеющегося буфера кадров Преобразование кадров видео в оттенки серого Для каждого следующего кадра видео: Преобразование кадра видео в оттенки серого Вычитание фона из текущего кадра Бинаризация изображения Обновление модели фона Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 4 Преобразование кадра в оттенки серого Переводим трехканальное изображение в одноканальное по формуле c некоторыми коэффициентами. где - соответсвующие каналы изображения, - весовые коэффициенты каналов. Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 5 Построение модели фона На основе массива одноканальных изображений строим первую модель фона. - первый кадр фона. - k-й кадр видео. Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 6 Построение бинаризованного изображения Вычитаем фон из очередного кадра. Отсекаем пиксели со значением больше порогового. Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 7 Морфология Избавление бинаризованного изображения от шумов с помощью эрозии. Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 8 Обновление модели фона Для каждого кадра видео обновляем модель фона по формуле. То есть, сложим текущие кадры фона с весовыми коэффициентами. Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 9 Описание последовательной реализации Чтобы начать обрабатывать потоковое видео, нужно создать кадр фона по первым n кадрам исходного видео. Каждый кадр, который будет использоваться в построении модели фона, нужно будет конвертировать в черно-белый кадр. Для создания кадра фона будем использовать модель фона с использованием усреднения. - i-й пиксель фона. - i-й пиксель j-ого кадра. Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 10 Описание последовательной реализации Конвертирование кадра в черно-белый кадр void ConvertToGrayscale(IplImage* grayFrame, const IplImage* image,const double r,const double g,const double b); frame bg b g r b g r b g r … p p p p p p p p p … Создание кадра фона с использованием усреднения IplImage* BGModelAve(IplImage** src, const int n); Н. Новгород, 2011 г. p p p p p p p p p … p p p p p p p p p … p p p p p p p p p … p p p p p p p p p … Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 11 Описание последовательной реализации 1. 2. 3. 4. 5. 6. После создания первоначального кадра фона для каждого последующего кадра видео будем выполнять последовательность действий. Конвертировать в черно-белый кадр. Найти различия между полученным кадром и текущим кадром фона. К полученному кадру разницы применить сглаживающий фильтр. Проклассифицировать множество пикселей на фоновые и не фоновые – бинаризовать изображение. Отобразить полученный кадр. Обновить кадр фона. Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 12 Описание последовательной реализации Вычисление разности фона и текущего кадра void Diff(const IplImage* bg, const IplImage* frame, unsigned char* const diff); background frame = diff b b b b b b b b b … f f f f f f f f f … d d d d d d d d d … Получение бинаризованной маски void ClipPix(IplImage* mask,unsigned char* const diff, const char t); tresh Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 13 Описание последовательной реализации Для уменьшения количества «случайных» белых пикселей – шума – применим метод математической морфологии сужение. void Erosion(IplImage* src, IplImage* out, bool* mask, int maskWidth, int maskHeigth); Маска – двумерный массив (матрица) интенсивностей пикселей. Рассмотрим пиксель .. Шаблон – двумерный булев массив. Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 14 Описание последовательной реализации ? да нет Таким образом обрабатываем все пиксели маски. Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 15 Описание последовательной реализации Основываясь на методе поиска границ Канни рисует границы маски на исходном кадре. void CannyTrack(IplImage * src, IplImage * mask, const double lowThresh, const double highThresh, unsigned char track_r, unsigned char track_g, unsigned char track_b); В данном методе используется OpenCV-функция void cvCanny(const CvArr* image, CvArr* edges, double threshold1, double threshold2, int aperture_size); Данная функция «обводит» сегменты из определенного заданного порога интенсивности пикселей. Затем нужно перенести полученные границы на исходный кадр, отобразив их соответствующим цветом. Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 16 Описание последовательной реализации После того как кадр с отрисованными границами отображен, нужно пересчитать кадр фона. Для этого создадим циклический буфер, который будет состоять из n предыдущих кадров фона. Чтобы получить новый кадр фона, вставим на место самого старого фона текущий и пересчитаем фон. Начало буфера IplImage* UpdateBGModel(IplImage* grayFrame, IplImage** src, const int n, const unsigned int OldFramePosition, double* const w) Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 17 Схема распараллеливания алгоритма Во многих функциях производилось одно и тоже действие над каждым пикселем кадра Данные функции могут быть хорошо распараллелены, если массив интенсивностей мы представим как тип dense<u8> И будем применять к нему метод map(). Изначально имеем IplImage которая имеет поле ImageData, которое является массивом интенсивности. Используем биндинг: dense<u8> img_arbb; IplImage* img = cvCreateImage(img_size,DEPTH,CHANNELS); bind(img_arbb,(uchar*)img->imageData,img_size); Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 18 Схема распараллеливания алгоритма Конвертирование в черно-белое изображение void ConvertToGrayscale(IplImage* grayFrame, const IplImage* image,const double r,const double g, const double b) b g p Н. Новгород, 2011 г. Правый сосед Текущий Для каждого элемента полученного dense-контейнера можно сделать следующее: умножить на соответствующий коэффициент его и его соседей, а потом сложить. Каждый третий такой пиксель в массиве (так как трехканальное изображение) и будет пикселем черно-белого кадра. Левый сосед r Ядро: void Conv(arbb::f32 &a) { a=neighbor(a,1)*r+a*g+neighbor(a,-1)*b; } b g r b g r b g r p p p p p Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks p p p p 19 Схема распараллеливания алгоритма Вычисление разности фона и текущего кадра void difference(const dense<i8> &a, const dense<i8> &b, dense<u8> &c) В данной функции вызывается ядро map(): void diff(i8 a, i8 b, u8 &c) Получение бинаризованной маски void ClipPix(const dense<i8> &a, dense<i8> &b, const u8 t) Ядро map(): void Clip(const i8 &a, i8 &b, const u8 t) Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 20 Схема распараллеливания алгоритма Для обновления фона мы сохраняем предыдущие n кадров фона и текущий кадр в циклическом буфере: dense<u8> mainFramesBuffer_arbb Он содержит (n+1)·ImgHeight·ImgWidth элементов u8. … … bn f b1 b2 … … … ImgSize = ImgHeight·ImgWidth Также есть массив коэффициентов: dense<u32> coefficients В исходной формуле Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 21 Схема распараллеливания алгоритма Рассмотрим реализацию обновления фона 1. Для каждого i-го пикселя фона: 2. Сформировать вектор из i-х пикселей кадров из циклического буфера. 3. Умножить полученный вектор на вектор коэффициентов. * w w w w w w w w w = Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 22 Схема распараллеливания алгоритма 3. Теперь нужно просуммировать все координаты ветора, чтобы получить i-й пиксель фона. = 4. Так как буфер циклический, циклически подвинуть массив коэффициентов вправо на один элемент. w w w w w w w w w dense<u8> UpdateBGModel(dense<u8> &mainFramesBuffer, dense<u32> &coefficients, const int width, const int height, const int n) Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 23 Схема распараллеливания алгоритма Создание кадра фона с использованием усреднения dense<i8> Average(const dense<i8> &src, int n, int size) Данная функция аналогична функции обновления фона, за исключением того, что все коэффициенты равны 1/n Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 24 Обзор ArBB ArBB предоставляет два типа параллелизма: параллелизм по данным и параллелизм по потокам. ArBB использует собственный тип для хранения однотипных массивов данных: dense-контейнеры. Есть две специальных ArBB-функции, обеспечивающие работу со скалярными и векторными ArBB-типами: map и call. Функция map обеспечивает векторизацию, или параллелизм по данным, которая вызывается поэлементно для каждого из элементов контейнера. Call, по сути, является аналогом обычного вызова функции в С. Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 25 Описание параллельной реализации При первом вызове функции происходит компиляция кода этой функции в реальном времени с учетом особенностей текущего процессора (SSE, AVX) Все функции, использующие контейнеры и\или переменные ArBB, должны вызываться с помощью call Когда функция вызывается с помощью call, происходит передача управления библиотеке ArBB, она берет на себя задачу контроля вычислений. После завершения работы функции контроль возвращается основному приложению. Функция, вызванная с помощью map для контейнера, выполняется поэлементно для каждого элемента контейнера (Параллелизм по данным) Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 26 Пример реализации ArBB функции Функция получает двумерный контейнер с данными, результат усреднения по столбцам сохраняет во второй контейнер void AverageTwoDim (const dense<i8,2> &a, dense<i8> &res) { _if (res.length()==a.num_cols()) { _for (usize i=0, i<a.num_cols(), i++) { res[i]=add_reduce((dense<i16>)a.col(i))/(i16)a.num_ rows(); } _end_for } _end_if } Для проведения экспериментов использовалась именно эта функция Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 27 Сравнение способов вызова ArBB-функций по времени исполнения Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 28 Выводы. Исходя из экспериментов, очевидно, нужно использовать вызовы функций, использующих ArBB, с помощью call. Пример: void difference(const dense<i8> &a, const dense<i8> &b, dense<u8> &c){ map(diff)(a, b, c); } void diff(const i8 &a, const i8 &b, u8 &c){ i32 cf = a - b; c = (u8)cf; } Пример вызова: call(difference)(a,b,c); Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 29 Схема работы параллельной версии Т.к. вызов функции с использованием map необходимо производить из функции, вызванной с помощью call, то схема вызова функций такая: Основное приложение – вызов с помощью call – вызов map Вызовы map Контейнеры Основное приложение Вызовы map Вызовы map Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 30 Сравнение параллельной и последовательной версий Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 31 Выводы В процессе выполнения работ мы разработали последовательную и параллельную реализацию. Также было разработано демонстрационное приложение с графическим интерфейсом. Библиотека Intel Array Building Blocks для решения практических задач на данных момент не приспособлена. Н. Новгород, 2011 г. Разработка параллельной реализации схемы двумерного сопровождения объектов с использованием библиотеки Intel Array Building Blocks 32