1. Некоторые методы
обнаружения
артефактов 3D-видео
Алексей Борисов
Video Group
CS MSU Graphics & Media Lab

2. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Несоответствие по фокусу
 Стабильность по глубине
 Несоответствие границ по резкости
 Заключение
2

3. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Проблемы стереовидео
3
Несогласованность с системой отображения
Артефакты стереосъёмки Артефакты конвертации
 Сдвиг по вертикали, наклон
 Различия по цвету, фокусу
 Рассинхронизация
по времени
 Неправильный Zoom
 Стробление на границах
 Изгибы на вертикальных
границах
 Прилипание мелких
деталей к фону
 Некачественное заполнение
областей открытия
 Нестабильное заполнение
областей открытия
Контроль глубины

4. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Введение
Проблемы стереовидео
4
Несогласованность с системой отображения
Артефакты стереосъёмки Артефакты конвертации
 Сдвиг по вертикали, наклон
 Различия по цвету, фокусу
 Рассинхронизация
по времени
 Неправильный Zoom
 Стробление на границах
 Изгибы на вертикальных
границах
 Прилипание мелких
деталей к фону
 Некачественное заполнение
областей открытия
 Нестабильное заполнение
областей открытия
Контроль глубины

5. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Несоответствие по фокусу
 Стабильность по глубине
 Несоответствие границ по резкости
 Заключение
5

6. 6Левый ракурс Правый ракурс
Несоответствие по фокусу
Пример из фильма «Аватар»

7. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Происхождение статьи
7Frederic Devernay et al., “Focus mismatch detection
in stereoscopic content,” in Proc. SPIE, 2012

8. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Постановка задачи
Входные данные:
Выходные данные:
 Степень рассинхронизации
 Рекомендации по исправлению
Приложение:
Автокалибровка фокуса для стереорига
8
Стереопара
Frederic Devernay et al., “Focus mismatch detection
in stereoscopic content,” in Proc. SPIE, 2012

9. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Математическая модель (1)
9
Параметры камеры: FD, DOF
Frederic Devernay et al., “Focus mismatch detection
in stereoscopic content,” in Proc. SPIE, 2012

10. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Математическая модель (2)
10Frederic Devernay et al., “Focus mismatch detection
in stereoscopic content,” in Proc. SPIE, 2012

11. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Шаги алгоритма
11
1. Вычисление карты диспаритета
2. Измерение резкости каждого пикселя
3. Вычисление вспомогательных статистик
4. Оценивание параметров модели
5. Формирование результата
(степень рассинхронизации +
рекомендации по исправлению)
Frederic Devernay et al., “Focus mismatch detection
in stereoscopic content,” in Proc. SPIE, 2012

12. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Шаг 1/5
Вычисление карты диспаритета
12
Используются:
 Алгоритм Optical Flow,
устойчивый к различиям
по фокусу (M. Sizintsev, 2010)
 Алгоритм Left-Right
Consistency Check
для поиска
областей открытия
Julien Marzat, et al., “Real-Time Dense and Accurate Parallel
Optical Flow using CUDA,” in WSCG, 2009

13. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Шаг 2/5
Измерение резкости
13
Авторы используют: T = 5 N = 1 s = 1
Frederic Devernay et al., “Focus mismatch detection
in stereoscopic content,” in Proc. SPIE, 2012

14. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Шаг 3/5
Вспомогательные статистики
14
Мера надёжности:
Агрегированные значения по уровням глубины:
Индикатор ракурса с большей резкостью пикселя:
M(i) =
w(i) =
Frederic Devernay et al., “Focus mismatch detection
in stereoscopic content,” in Proc. SPIE, 2012

15. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Шаг 4/5
Построение модели
15Frederic Devernay et al., “Focus mismatch detection
in stereoscopic content,” in Proc. SPIE, 2012
C(d) {−0.7, −0.3, 0, 0.3, 0.7}
Минимизация функционала E(C):

16. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Шаг 5/5
Формирование результата
16
Сопоставление C(d) c модельными конфигурациями:
Frederic Devernay et al., “Focus mismatch detection
in stereoscopic content,” in Proc. SPIE, 2012

17. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
17
J. K. Author, “Title of paper,” in Unabbreviated Name of Conf., yearЛевый ракурс

18. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
18
J. K. Author, “Title of paper,” in Unabbreviated Name of Conf., yearПравый ракурс

19. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты (1)
19
M(d)
Frederic Devernay et al., “Focus mismatch detection
in stereoscopic content,” in Proc. SPIE, 2012
w(d)
d d
Индикатор ракурса, более
резкого на заданном
уровне глубины
Мера надёжности
на заданном
уровне глубины

20. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты (2)
20
С(d)
Frederic Devernay et al., “Focus mismatch detection
in stereoscopic content,” in Proc. SPIE, 2012
d
Построенная модель Эталонная модель

21. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты (3)
21
Карта глубины
Карта направления
расфокусировки
Frederic Devernay et al., “Focus mismatch detection
in stereoscopic content,” in Proc. SPIE, 2012

22. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты (4)
22
Карта глубины
Карта степени
расфокусировки
Frederic Devernay et al., “Focus mismatch detection
in stereoscopic content,” in Proc. SPIE, 2012

23. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты (5)
23
Карта глубины Левый ракурс
Полосами отмечены регионы,
более резкие на другом ракурсе
Frederic Devernay et al., “Focus mismatch detection
in stereoscopic content,” in Proc. SPIE, 2012

24. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты (6)
24
Карта глубины Правый ракурс
Полосами отмечены регионы,
более резкие на другом ракурсе
Frederic Devernay et al., “Focus mismatch detection
in stereoscopic content,” in Proc. SPIE, 2012

25. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Выводы
25
Достоинства:
 Теоретическая обоснованность
 Низкая вычислительная сложность
 Возможность улучшения качества
Недостаток:
 Результаты только на синтезированных
данных

26. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Несоответствие по фокусу
 Стабильность по глубине
 Несоответствие границ по резкости
 Заключение
26

27. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Стабильность по глубине
Постановка задачи
Проблема: «дрожание» объектов по глубине во времени
http://footage.shutterstock.com/clip-770785-stock-footage-
aspen-leaves-tremble-on-a-summer-wind.html
27

28. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Происхождение статьи
28M. Solh and G. AlRegib, “A No-reference Quality Measure
for DIBR-Based 3D Videos,” Hot3D, 2011
IEEE International Workshop
on Hot Topics in 3D

29. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
«Идеальная глубина»
29M. Solh and G. AlRegib, “A No-reference Quality Measure
for DIBR-Based 3D Videos,” Hot3D, 2011

30. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Используемые обозначения
30
реальная и виртуальная
камеры
фокальные расстояния
горизонтальные координаты
камер в глобальной
системе координат
расстояние
между камерами
M. Solh and G. AlRegib, “A No-reference Quality Measure
for DIBR-Based 3D Videos,” Hot3D, 2011

31. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Построение
«идеальной глубины» (1)
31
Основное уравнение синтеза нового ракурса:
Точное выражение для идеальной глубины:
M. Solh and G. AlRegib, “A No-reference Quality Measure
for DIBR-Based 3D Videos,” Hot3D, 2011
(s= 1)

32. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Построение
«идеальной глубины» (2)
32
Эвристика для небольших сдвигов:
Ещё одно приближение:
M. Solh and G. AlRegib, “A No-reference Quality Measure
for DIBR-Based 3D Videos,” Hot3D, 2011

33. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Построение
«идеальной глубины» (3)
33M. Solh and G. AlRegib, “A No-reference Quality Measure
for DIBR-Based 3D Videos,” Hot3D, 2011

34. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Оценка качества (1)
Основная статистика:
34
Вспомогательные метрики:
 Spatial error Outliers (SO)
 Temporal error Outliers (TO)
 Temporal Inconsistencies (TI)
Предложенная метрика:
M. Solh and G. AlRegib, “A No-reference Quality Measure
for DIBR-Based 3D Videos,” Hot3D, 2011

35. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Оценка качества (2)
Вспомогательные метрики
35
Spatial error Outliers:
Temporal error Outliers:
Temporal Inconsistencies:
M. Solh and G. AlRegib, “A No-reference Quality Measure
for DIBR-Based 3D Videos,” Hot3D, 2011

36. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты
36M. Solh and G. AlRegib, “A No-reference Quality Measure
for DIBR-Based 3D Videos,” Hot3D, 2011
VQM
DMOS
DMOS =
MOS(reference) −
MOS(processed)
Субъективная
оценка:
Предложенная
метрика:
VQM

37. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Выводы
37
Достоинство:
 Уникальность
Недостатки:
 Неясность формул
 Неубедительность результатов

38. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Несоответствие по фокусу
 Стабильность по глубине
 Несоответствие границ по резкости
 Заключение
38

39. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Несоответствие границ
по резкости
39
Левый ракурс Правый ракурсСинтезированная
стереопара
L
R

40. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Происхождение статьи
40
The True Vision
Capture, Transmission
and Display of 3D Video
Hang Shao et al., “Objective quality assessment of depth image
based rendering in 3DTV system,” in 3DTV-CON, 2009

41. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Full-Reference metric
– этал – эталонный и синтезированный ракурсы
– границы на эталонном и синтезированном
– ракурсах
– значение соответствующего пикселя
– из карты глубины
41Hang Shao et al., “Objective quality assessment of depth image
based rendering in 3DTV system,” in 3DTV-CON, 2009

42. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты
Исходные (синтезированные) данные
42Hang Shao et al., “Objective quality assessment of depth image
based rendering in 3DTV system,” in 3DTV-CON, 2009
a b c
d e
b

43. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
43a

44. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
44
a
b

45. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
45
a
c

46. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
46
a
d

47. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
47
a
e

48. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты
Найденные границы (1)
48
b
a c d e
Границы на синтезированных данных (красный прямоугольник)
Эталонный кадр Эталонная карта границ
b
Hang Shao et al., “Objective quality assessment of depth image
based rendering in 3DTV system,” in 3DTV-CON, 2009

49. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты
Найденные границы (2)
49
b
a c e
Границы на синтезированных данных (синий прямоугольник)
Эталонный кадр Эталонная карта границ
b d
Hang Shao et al., “Objective quality assessment of depth image
based rendering in 3DTV system,” in 3DTV-CON, 2009

50. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты
Сравнение с субъективными оценками
Приемлемое качество: Obj. > 0,7
50
b
Последова-
тельность
Способ
оценки
a b c d e
Tsukuba Obj. 0,479 0,573 0,563 0,707 0,646
Sub. −45 −25 −35 −11 −25
Teddy Obj. 0,557 0,578 0,557 0,756 0,763
Sub. −30 −18 −22 −10 −10
Venus Obj. 0,474 0,615 0,498 0,723 0,728
Sub. −45 −26 −40 −20 −20
Hang Shao et al., “Objective quality assessment of depth image
based rendering in 3DTV system,” in 3DTV-CON, 2009

51. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Выводы
51
Достоинство:
 Учитывает глубину объекта (артефакты
на близких объектах более заметны)
Недостаток:
 Финальная оценка по кадру
зависит от сцены (происходит усреднение
по «плохим и хорошим» границам)

52. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Несоответствие по фокусу
 Стабильность по глубине
 Несоответствие границ по резкости
 Заключение
52

53. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Дальнейшие планы
 Работа над метриками качества
для конвертированного стерео
(использование идей из второй и третей статей)
 Реализация алгоритма
Focus Mismatch Detection
53

54. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Литература
1. F. Devernay, S. Pujades and V. Ch.A.V., “Focus mismatch detection
in stereoscopic content,” in Proceedings of SPIE, Stereoscopic Displays
and Applications, vol. 8288, San Francisco, CA, 2012.
2. M. Solh and G. AlRegib, "A No-reference Quality Measure
for DIBR-Based 3D Videos," in IEEE International Workshop
on Hot Topics in 3D, Barcelona, July 2011.
3. H. Shao, X. Cao and G. Er, “Objective quality assessment of depth
image based rendering in 3DTV system,” in 3DTV Conference:
The True Vision - Capture, Transmission and Display of 3D Video,
Potsdam, May 2009, pp. 1–4.
54

55. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Настоящие планы
55
«Хреновый контент»

56. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Лаборатория компьютерной
графики и мультимедиа
Видеогруппа — это:
 Выпускники в аспирантурах
Англии, Франции, Швейцарии
(в России в МГУ и ИПМ им. Келдыша)
 Выпускниками защищены 5 диссертаций
 Наиболее популярные в мире сравнения
видеокодеков
 Более 3 миллионов скачанных фильтров
обработки видео
56