Video Group CS MSU Graphics & Media Lab

Введение
в стереозрение
Дмитрий Ватолин
Video Group
CS MSU Graphics & Media Lab
Only for
Maxus 
План лекции


Восприятие трехмерного пространства
человеком. Источники информации
о глубине сцены
Стереоизображения. Параллакс. Запас
глубины. Комфортное восприятие стерео
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
2
Only for
Maxus 
Восприятие пространства

Монокулярный стереоэффект


Последовательно-временной стереоэффект


Информация о глубине из вторичных факторов
пространственного зрения
Информация о глубине из перемещения
объектов сцены
Бинокулярный стереоэффект

Информация о глубине из разности
изображения с двух точек зрения
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
3
Only for
Maxus 


Монокулярный
стереоэффект
Наложение объектов
Линейная
перспектива:
относительные
размеры объектов
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Источники: i86.servimg.com, www.cs.cmu.edu/~dccrow
4
Only for
Maxus 


Монокулярный
стереоэффект
Расположение объектов
относительно горизонта
Воздушная
перспектива:
рассеяние света
по мере удаления
от наблюдателя
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Источники: www.3dtv.fr, Wikipedia
5
Only for
Maxus 


Монокулярный
стереоэффект
Текстурные
градиенты
Тени, блики
и отражения
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Источники: cs.ru.nl/~ths, Wikipedia
6
Only for
Maxus 


Последовательновременной стереоэффект
Смещение точки
зрения / камеры
Относительная
скорость объектов
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Источники: www.3dtv.fr, Wikipedia
7
Only for
Maxus 


Бинокулярный
стереоэффект
Раскрытие наложения
объектов с одной
из точек зрения
Стереоскопический
параллакс


Расположение объектов
на сетчатке глаза
Различие формы объекта
с разных точек зрения
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Источник: www.3dtv.fr
8
Only for
Maxus 
Бинокулярное зрение


Человек видит разные
картинки каждым из глаз
Их объединение дает
информацию о глубине
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Источник: i.cmpnet.com
9
Only for
Maxus 
Стереоизображения

Стереоизображение
делают из двух
обычных картинок

Разные изображения
для каждого глаза
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
10
Only for
Maxus 
Конвергенция и дивергенция
При слежении за сопряженными точками
зрительные оси глаз могут сходиться или
расходиться в зависимости от удаленности
объекта
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
11
Only for
Maxus 
Параллакс
Параллакс — величина взаимного
смещения сопряженных точек на сетчатках
глаз или в изображениях стереопары
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Источник: www.3dtv.fr
12
Only for
Maxus 
Параллакс в стерео
Параллакс — расстояние между картинками
для разных глаз на экране
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Источник: www.3dtv.fr
13
Only for
Maxus 
Параллакс в стерео
Параллакс — расстояние между картинками
для разных глаз на экране
положительный:
объект далеко
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
отрицательный:
объект рядом
Источник: lightillusion.com
14
Only for
Maxus 
Положительный параллакс


Зрительные оси
пересекаются
за плоскостью
изображения
стереопары
Восприятие почти
не зависит от расстояния
зрителя до экрана
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
15
Only for
Maxus 
Положительный параллакс
Максимальный параллакс:



Расстояние между
картинками равно
расстоянию между глазами
Зрительные оси
параллельны
Объекты находятся
на стереоскопической
бесконечности (воспринимаются
на расстоянии 10 метров)
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
16
Only for
Maxus 
Положительный параллакс
Параллакс больше
максимального:


Расстояние до объектов
еще больше
Глаза смотрят в разные
стороны — дискомфорт
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
17
Only for
Maxus 
Отрицательный параллакс


Зрительные оси
пересекаются перед
плоскостью изображения
стереопары
Глубина задается
относительно расстояния
до экрана
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
18
Only for
Maxus 
Отрицательный параллакс
Серединный отрицательный
параллакс
(MDP — Mid-Point Parallax):


Расстояние между
картинками равно
расстоянию между глазами
Расстояние до объекта
равно половине расстояния
до экрана
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
19
Only for
Maxus 
Отрицательный параллакс
Максимальный
отрицательный параллакс:



зависит от времени
статичные объекты:
1-2x MDP
движущиеся объекты:
3-5x MDP
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
20
Only for
Maxus 
Запас глубины


Доступная глубина =
(максимальный положительный
параллакс) + (максимальный
отрицательный параллакс)
В пикселях:


±30px для разрешения 2000px, 30”
–45—100 для сильного эффекта 3D
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Источник: www.3dtv.fr
21
Only for
Maxus 


Зоны комфортного
восприятия стерео
Серый: невидимая зона
Красный: опасная зона


Оранжевый: быстрая зона


Большая нагрузка на глаза
Объект виден только одному
глазу — нагрузка
Зеленый: зона отдыха глаз


Рядом с плоскостью экрана
Комфортная для восприятия
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Источник: www.3dtv.fr
22
Современные
стандарты 3D
Video Group
CS MSU Graphics & Media Lab
Only for
Maxus 
Содержание

Форматы 3D кино



Полосно-пропускные
Затворные
Поляризационные
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
24
Only for
Maxus 
Форматы 3D кино
Полосно-пропускные


Разделение изображений
для разных ракурсов
по длинам волн
Основные форматы:


Анаглиф
(греч. Anaglyph, выпуклая резьба
«барельеф»,
ἀνά «над», γλύϕ-ειν «вырезать»)
Dolby 3D
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Рисунок - http://dtcinema.ru
25
Only for
Maxus 
Полосно-пропускные
Dolby 3D



Разработка технологии
компанией Infitec
(Interference filter technologie)
Объединение Infitec
с Dolby Laboratories Inc.
Создание стандарта Dolby 3D
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
26
Only for
Maxus 
Dolby 3D
Принцип работы



Развитие идеи анаглифного стерео, более
сложное разделение изображений по длине
волны света
Применение интерференционных полоснопропускающих фильтров
Получение изображения смешиванием цветов
из полос пропускания


Left eye: Red 629nm, Green 532nm, Blue 446nm
Right eye: Red 615nm, Green 518nm, Blue 432nm
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://hdsofa.ru/Stati/Tehnologii-3D-kino-IMAX-RealD-SuperD27
Dolby-3D-XpanD-MasterImage.html
Only for
Maxus 
Dolby 3D
Принцип работы
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://litvinovs.net/reflection/3d/
28
Only for
Maxus 
Dolby 3D
Оборудование


Обычный матовый экран
Один проектор + вращающийся
диск-светофильтр



4320 оборотов в минуту
Частота обновления – 72Гц
для каждого глаза
Очки со спектральными
светофильтрами
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://hdsofa.ru/Stati/Tehnologii-3D-kino-IMAX-RealD-SuperD29
Dolby-3D-XpanD-MasterImage.html
Only for
Maxus 
Содержание

Форматы 3D кино



Полосно-пропускные
Затворные
Поляризационные
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
30
Only for
Maxus 
Форматы 3D кино
Затворные



Поочередное перекрывание каждого глаза
В каждый момент времени
вывод на экран только
одного ракурса
Основные форматы:

NVIDIA 3D Vision

XpanD 3D
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
31
Only for
Maxus 
NVIDIA 3D Vision
Оборудование



Мощная видеокарта
Качественный дисплей
Специализированный набор IR-синхронизатор + активные
очки
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://www.nvidia.com
32
http://www.nvidia.com
33
Only for
Maxus 
XpanD 3D
Оборудование
Затворные очки




Полноцветное изображение
Частота развертки не ниже 100Гц (50Гц для каждого
глаза)
Необходимость синхронизации и элементов питания
Техническая сложность и высокая стоимость (60 - 100 €)
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://www.xpand.me/technology/xpand-3d/
34
Only for
Maxus 
XpanD 3D
Оборудование
IR-эмиттеры синхронизации

280 инфракрасных диодов

Большой радиус действия

Устанавливается рядом
с проектором

Направляется на экран

Сигнал отражается от экрана в кинозал
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://www.xpand.me/technology/xpand-3d/
35
http://www.xpand.me/technology/xpand-3d/
36
Only for
Maxus 
Содержание

Форматы 3D кино



Полосно-пропускные
Затворные
Поляризационные
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
37
Only for
Maxus 
Поляризация
Нарушение симметрии в распределении волн
Неполяризованный
свет
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Частично
поляризованный
свет
http://en.wikipedia.org
Поляризованный
свет
38
Only for
Maxus 
Поляризация
Виды поляризации

Линейная поляризация,
применение:


Ранние модели IMAX 3D
Круговая поляризация,
применение:



Современный IMAX 3D
RealD 3D
MasterImage
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://en.wikipedia.org
39
Only for
Maxus 
Линейная поляризация
Теория


Колебания э/м возмущений в одной плоскости
Принцип работы фильтров – анизотропные
свойства кристалла
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://en.wikipedia.org
40
Only for
Maxus 
Круговая поляризация
Теория
Циркуляция вектора амплитуды э/м возмущений
Правая (по часовой стрелке)
поляризация волны
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://en.wikipedia.org
41
Only for
Maxus 
Круговая поляризация
Устройство фильтра


Линейная поляризатор под углом 45°
Четвертьволновая пластина
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://en.wikipedia.org
42
Only for
Maxus 
Круговая поляризация
Четвертьволновая пластина


Вертикальноориентированная часть
волны проходит
без изменений
Горизонтальноориентированная часть
задерживается
на четверть волны
Δ=λ /4
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://en.wikipedia.org
43
Only for
Maxus 
Поляризационные
Общие характеристики




Экран с особым покрытием, неизменяющим
поляризацию падающего света
Фильтры для проекторов и очков
Зависимость качества 3D эффекта от наклона
головы зрителя
(в меньшей степени для круговой поляризации)
Существенное уменьшение яркости изображения
из-за поляризации
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://hdsofa.ru/Stati/Tehnologii-3D-kino-IMAX-RealD-SuperDDolby-3D-XpanD-MasterImage.html
44
Only for
Maxus 
RealD 3D
Версии формата




RealD – стандартная с максимальной
шириной экрана – 13.7 м
RealD XL (в России – SuperD) –
для больших экранов до 24 м
RealD XLS – решение проблемы
уменьшения яркости изображения,
экран – до 15 м
RealD LP – переносная версия
для конференций и выставок,
экран до 5 м
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
45
Only for
Maxus 
RealD 3D
RealD, RealD XL



Один проектор
с частотой 140Гц
Попеременное отображение
кадров
Система переключаемых
фильтров RealD Z screen,
синхронизируемая
с проектором

Экран с серебряным покрытием

Пассивные поляризующие очки
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Система
RealD Z Screen
http://www.brunogilbert.com/reald.htm
46
Only for
Maxus 
RealD 3D
RealD, RealD XL
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://www.edcf.net/edcf_docs/real-d.pdf
47
Only for
Maxus 
RealD 3D
RealD XLS



Использование в два раза большего проектора
Одновременный показ двух ракурсов на одном кадре
RealD Z Screen разделяет кадр на ракурсы и поляризует
858
2048
2160
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
4096
48
Only for
Maxus 
RealD 3D
RealD LP




Переносной вариант
Ориентирован
для конфренций
2D - 120Гц / 3D - 60Гц
режимы работы
Совместим с уже
существующими моделями
проекторов
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
RealD Z Screen
для RealD LP
http://www.brunogilbert.com/reald.htm
49
Only for
Maxus 
MasterImage
Более дешевая система с вращающимися фильтрами
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
50
Only for
Maxus 
IMAX



Не является только
форматом 3D
Специфицирует все
элементы кинопоказа
Формат
фильмов и кинотеатров
с большим размером экрана
и эффектом погружения
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
51
Only for
Maxus 
IMAX
Версии





IMAX GT – «Большой кинотеатр»,
без 3D
IMAX GT 3D – Два «GT» проектора
IMAX SR – мультиплексовый вариант
с меньшим экраном, поддержкой 3D
IMAX MPX – технология оборудования
существующих мультиплексов под
формат IMAX
IMAX Dome – куполообразный экран
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://www.ieee.ca/millennium/imax/imax_technical.html
52
Only for
Maxus 
IMAX
Оборудование
Специализированная конструкция
кинозала:



Большой экран
(стандарт – 20х16 м)
Высокий угол
наклона сидений
зрителей (до 23°)
Небольшое расстояние
от экрана до зрителя
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Рисунок - http://media.popularmechanics.com
http://www.ieee.ca/millennium/imax/imax_technical.html
53
Only for
Maxus 
IMAX
Оборудование
Больший размер пленки и специальные камеры
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://en.wikipedia.org
54
Only for
Maxus 
IMAX
Оборудование
Мощные ксеноновые проекционные лампы (7-15кВт)
для увеличения яркости картинки
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://en.wikipedia.org
55
Only for
Maxus 
IMAX
Технологии



IMAX HD – увеличение качества
картинки засчет записи 48 кадров в
секунду
IMAX DMR (Digital Media Remastering)
– перевод 35мм фильмов в 70мм
IMAX Digital Theatre System –
цифровой хранения видео
(введен в 2008 году)
IMAX DMR
(1995 Apollo 13)
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
http://www.ieee.ca/millennium/imax/imax_technical.html
56
Only for
Maxus 
Форматы 3D кино
Заключение
Dolby 3D
NVIDIA 3D Vision
RealD 3D
IMAX
Спектральный
Затворный
поляризационный
поляризационный
Дисплей с высокой
частотой развертки
1 проектор
2 мощных
проектора
Экран с покрытием
Большой экран
Активные
дорогостоящие очки
Пассивные очки
Низкая стоимость
Пассивные очки
Низкая стоимость
Нацелен на
персональное
использование
Очень
распространен,
возможность
оснащения старых
залов
Считается лучшим
форматом, эффект
погружения
1 проектор
Обычный экран
Пассивные очки
Низкая
стоимость
Самый дешевый
вариант
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
57
Приложения
S3D-видео и связанные
технологии
Video Group
CS MSU Graphics & Media Lab
Only for
Maxus 
Что подразумевается
под «S3D-видео»
Рассматриваются форматы видео, которые
позволяют зрителям воспринимать глубину
сцены по принципу бинокулярного стерео
зрения
Левый +
правый
канал
Примеры форматов:




Стереоскопический
Многоракурсный
Видео с произвольной точкой наблюдения
(ПТН, Free Viewpoint)
«2D+глубина»
(становится более доступным на данный момент)
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
M.-T. Sun, “Applications and Processing of 3D Video,”
2011
2D +
глубина
59
Only for
Maxus 
Приложения S3D-видео
Кино и
телевидение
Медицина
Применение 3D
технологий
Искусство, дизайн,
проектирование
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Виртуальная
реальность
Стерео камеры
и дисплеи
M.-T. Sun, “Applications and Processing of 3D Video,”
2011
60
Only for
Maxus 
Связанные технологии
Область S3D-видео охватывает следующие технологии:

Съемка 3D: стерео камеры, камеры глубины,
многоракурсные системы, калибровка камер, сопоставление ракурсов

Отображение 3D: очковые системы с поляризацией, затворные,
автостереоскопические лентикулярные, параллакс-барьерные системы

Конвертация из 2D в 3D:





Вычисление и обработка карт глубины и диспаритета
Depth image-based rendering (DIBR) – задачи генерации ракурсов:
3D warping, hole filling, blending
Сжатие и кодирование: H.264/Multi-view video coding, depth coding
Задачи распознавания на основе видео в различных 3D-форматах
…
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
M.-T. Sun, “Applications and Processing of 3D Video,”
2011
61
Only for
Maxus 
Тенденции развития
видеоинформационных систем
ТСПТН —
Телевидение с
произвольной
точкой
наблюдения
ТВЧ —
телевидение
высокой четкости
ТУВЧ —
телевидение
ультравысокой
четкости
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
В. Дворкович, М. Чобану, «Проблемы и перспективы
развития систем кодирования динамических
изображений», 2011.
63
Only for
Maxus 
Тенденции развития систем
отображения 3D
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Объемы продаж (млн)
Количество устройств
с поддержкой 3D (млн)
На данный момент предполагается активный рост
востребованности 3D-технологий
C. Camaroto, “3D Display Technology and Market
Forecast Report”, DisplaySearch, 2010
64
КОНЕЦ ЛЕКЦИИ 1.