2. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Содержание
Введение
Гибридное восстановление фона
Бесшовный монтаж
Laplacian Pyramid
Optimal seam
Poisson Image Editing
Деформация структуры
Заключение
2
3. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Введение
Постановка задачи
Для данного видео и маски неизвестных
точек восстановить, заполнить эти точки
таким образом, чтобы человек не был
способен обнаружить следов редактирования
3
Исходное видео Восстановленный фон
Результат Максима Колиниченко для трейлера «Хоббит»
4. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Введение
Восстановление фона для стерео
4
Левый построенный ракурс Правый построенный ракурс
Исходный кадр
5. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Содержание
Введение
Гибридное восстановление фона
Бесшовный монтаж
Laplacian Pyramid
Optimal seam
Poisson Image Editing
Деформация структуры
Заключение
5M. Ebdelli, et al, “Examplar-based video inpainting with motion-
compensated neighbor embedding,” ICIP, 2012.
6. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Восстановление фона
Пространственно-темпоральный метод
Краткая схема метода:
1. Оценить движение с помощью ME
2. Интерполировать поле ME для
неизвестных областей
3. Провести сегментацию объектфон
4. Заполнить неизвестные области согласно
приоритетам
6M. Ebdelli, et al, “Examplar-based video inpainting with motion-
compensated neighbor embedding,” ICIP, 2012.
7. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Детали метода
Интерполяция векторов ME
7M. Ebdelli, et al, “Examplar-based video inpainting with motion-
compensated neighbor embedding,” ICIP, 2012.
8. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Детали метода
Сегментация объектфон
Используется простой метод сегментации –
сравнение модуля векторов ME с порогом
Цель сегментации:
Восстанавливать неизвестные области
переднего плана перед восстановлением
фона
Не допустить использования фрагментов
переднего плана для восстановления фона
8M. Ebdelli, et al, “Examplar-based video inpainting with motion-
compensated neighbor embedding,” ICIP, 2012.
9. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Детали метода
Приоритеты блоков
9M. Ebdelli, et al, “Examplar-based video inpainting with motion-
compensated neighbor embedding,” ICIP, 2012.
10. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Детали метода
Выбор блоков кандидатов
10
Текущий кадрПредыдущий кадр
M. Ebdelli, et al, “Examplar-based video inpainting with motion-
compensated neighbor embedding,” ICIP, 2012.
11. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Детали метода
Восстановление блока
11M. Ebdelli, et al, “Examplar-based video inpainting with motion-
compensated neighbor embedding,” ICIP, 2012.
12. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Предложенный метод
Ключевые моменты
Адаптация зарекомендовавшего себя для
изображений приоритета восстановления
для видео
Поиск блоков кандидатов с помощью
комбинации ME и поиска ближайших
блоков внутри окна
«Умное» смешение блоков с наименьшим
SSD
12M. Ebdelli, et al, “Examplar-based video inpainting with motion-
compensated neighbor embedding,” ICIP, 2012.
13. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Предложенный метод
Результаты (1)
13
Поврежденный кадр (PSNR=9,01 дБ)
M. Ebdelli, et al, “Examplar-based video inpainting with motion-
compensated neighbor embedding,” ICIP, 2012.
14. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Предложенный метод
Результаты (1)
14
Восстановление на основе только векторов ME (PSNR=28,26 дБ)
M. Ebdelli, et al, “Examplar-based video inpainting with motion-
compensated neighbor embedding,” ICIP, 2012.
15. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Предложенный метод
Результаты (1)
15
Восстановление с помощью предложенного метода (PSNR=32,23 дБ)
M. Ebdelli, et al, “Examplar-based video inpainting with motion-
compensated neighbor embedding,” ICIP, 2012.
16. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Предложенный метод
Результаты (2)
16
Исходная последовательность
M. Ebdelli, et al, “Examplar-based video inpainting with motion-
compensated neighbor embedding,” ICIP, 2012.
17. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Предложенный метод
Результаты (2)
17
Поврежденная последовательность (PSNR=14,22 дБ)
M. Ebdelli, et al, “Examplar-based video inpainting with motion-
compensated neighbor embedding,” ICIP, 2012.
18. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Предложенный метод
Результаты (2)
18
Восстановление на основе только векторов ME (PSNR=31,23 дБ)
M. Ebdelli, et al, “Examplar-based video inpainting with motion-
compensated neighbor embedding,” ICIP, 2012.
19. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Предложенный метод
Результаты (2)
19
Восстановление на основе только поиска внутри окна (PSNR=23,41 дБ)
M. Ebdelli, et al, “Examplar-based video inpainting with motion-
compensated neighbor embedding,” ICIP, 2012.
20. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Предложенный метод
Результаты (2)
20
Восстановление с помощью предложенного метода (PSNR=34,96 дБ)
M. Ebdelli, et al, “Examplar-based video inpainting with motion-
compensated neighbor embedding,” ICIP, 2012.
21. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Предложенный метод
Анализ
Достоинства:
Субъективное и объективно более высокое
качество по сравнению с восстановлением
только на основе ME
Уменьшение заметности шва с помощью поиска
кандидатов внутри окна и «умного» смешения
Недостатки:
Ненадежная сегментация объектфон
Тенденция к распространению ошибок
сегментации по всем кадрам результата
21M. Ebdelli, et al, “Examplar-based video inpainting with motion-
compensated neighbor embedding,” ICIP, 2012.
22. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Содержание
Введение
Гибридное восстановление фона
Бесшовный монтаж
Laplacian Pyramid
Optimal seam
Poisson Image Editing
Деформация структуры
Заключение
22
23. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Бесшовный монтаж
Введение
Классические применения:
Склейка панорамы
Фотомонтаж
23
[3], [4]
24. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Бесшовный монтаж
Применимость к восстановлению фона
Все известные автору доклада методы
восстановления фона разрабатывавшиеся в
видео группе сталкивались с проблемой швов.
Идея: использовать методы бесшовного
монтажа для маскировки шва
24
Примерышвов
25. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Содержание
Введение
Гибридное восстановление фона
Бесшовный монтаж
Laplacian Pyramid
Optimal seam
Poisson Image Editing
Деформация структуры
Заключение
25E. H. Adelson, et al, “Pyramid methods in image processin,” RCA
Engineer
26. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Laplacian Pyramid
Идея метода
Простого смешения изображений в области
перекрытия не достаточно, чтобы обеспечить
плавный переход и избежать двоения границ.
Авторы предлагают независимо смешивать
различные частотные диапазоны.
26E. H. Adelson, et al, “Pyramid methods in image processin,” RCA
Engineer
27. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Laplacian Pyramid
Шаги алгоритма
1. Построить пирамиду от высоких до низких
частот для смешиваемых изображений
2. Провести независимое смешивание уровней
пирамиды, применяя более плавный переход для
низких частот и более резкий для высоких
3. Сложить уровни полученной пирамиды
27
Пример пирамиды разрешений
E. H. Adelson, et al, “Pyramid methods in image processin,” RCA
Engineer
28. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Laplacian Pyramid
Результат работы
28
«Яблоко»
E. H. Adelson, et al, “Pyramid methods in image processin,” RCA
Engineer
29. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Laplacian Pyramid
Результат работы
29
«Апельсин»
E. H. Adelson, et al, “Pyramid methods in image processin,” RCA
Engineer
30. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Laplacian Pyramid
Результат работы
30
«Яблокосин»
E. H. Adelson, et al, “Pyramid methods in image processin,” RCA
Engineer
31. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Laplacian Pyramid
Авторы метода
31
Авторы метода: Bergen, Anderson, Adelson, Burt
E. H. Adelson, et al, “Pyramid methods in image processin,” RCA
Engineer
32. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Содержание
Введение
Гибридное восстановление фона
Бесшовный монтаж
Laplacian Pyramid
Optimal seam
Poisson Image Editing
Деформация структуры
Заключение
32V. Kwatra, et al, “Graphcut textures: Image and video synthesis
using graph cuts,” in SIGGRAPH, 2003.
33. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Graphcut для монтажа
Идея метода
33
Применить метод Graphcut для поиска
оптимального шва между монтируемыми
изображениями. Определить веса ребер как
значение SSD перекрывающихся пикселей
V. Kwatra, et al, “Graphcut textures: Image and video synthesis
using graph cuts,” in SIGGRAPH, 2003.
34. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Graphcut для монтажа
Результаты (1)
34
Исходное изображение Результат монтажа
V. Kwatra, et al, “Graphcut textures: Image and video synthesis
using graph cuts,” in SIGGRAPH, 2003.
35. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Graphcut для монтажа
Результаты (2)
35
Исходное изображение Результат монтажа
Исходные изображения Результат монтажа Выбранный шов
V. Kwatra, et al, “Graphcut textures: Image and video synthesis
using graph cuts,” in SIGGRAPH, 2003.
36. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Graphcut для монтажа
Применимость к восстановлению фона
36
Есть надежда, что оптимальный шов может
отрезать остатки motion blur на фоне
Пример остатков motion blur
на фоне
Motion blur
V. Kwatra, et al, “Graphcut textures: Image and video synthesis
using graph cuts,” in SIGGRAPH, 2003.
37. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Содержание
Введение
Гибридное восстановление фона
Бесшовный монтаж
Laplacian Pyramid
Optimal seam
Poisson Image Editing
Деформация структуры
Заключение
37P. Perez, M. Gangnet, and A. Blake, “Poisson image editing,” ACM
SIGGRAPH, 2003.
38. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Poisson Image Editing
Основная идея
38
с граничным условием
P. Perez, M. Gangnet, and A. Blake, “Poisson image editing,” ACM
SIGGRAPH, 2003.
39. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Poisson Image Editing
Результаты (1)
39
Исходные изображения Копирование Предложенный метод
P. Perez, M. Gangnet, and A. Blake, “Poisson image editing,” ACM
SIGGRAPH, 2003.
40. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Poisson Image Editing
Результаты (2)
40
Копирование Предложенный методИсходные изображения
P. Perez, M. Gangnet, and A. Blake, “Poisson image editing,” ACM
SIGGRAPH, 2003.
41. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Poisson Image Editing
Результаты (3)
41
Исходное изображение Локальное изменение контраста
P. Perez, M. Gangnet, and A. Blake, “Poisson image editing,” ACM
SIGGRAPH, 2003.
42. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Poisson Image Editing
Результаты (3)
42
Исходное изображение Локальное изменение контраста
P. Perez, M. Gangnet, and A. Blake, “Poisson image editing,” ACM
SIGGRAPH, 2003.
43. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Содержание
Введение
Гибридное восстановление фона
Бесшовный монтаж
Laplacian Pyramid
Optimal seam
Poisson Image Editing
Деформация структуры
Заключение
43J. Jia and C.-K. Tang, “Image stitching using structure
deformation,” IEEE Transactions on PAMI, 2008.
44. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Деформация структуры
Основная идея
1. Найти оптимальный шов между монтируемыми
изображения
2. Выделить и сопоставить салиентные точки вдоль шва
3. Построить гладкую модель деформации
4. Применить деформацию к полю градиента
5. Построить результат, решив уравнение Пуассона
44
Пример сопоставления салиентных точек
J. Jia and C.-K. Tang, “Image stitching using structure
deformation,” IEEE Transactions on PAMI, 2008.
45. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Деформация структуры
Поиск оптимального шва
45
J. Jia and C.-K. Tang, “Image stitching using structure
deformation,” IEEE Transactions on PAMI, 2008.
46. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Деформация структуры
Поиск салиентных точек
46J. Jia and C.-K. Tang, “Image stitching using structure
deformation,” IEEE Transactions on PAMI, 2008.
47. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Деформация структуры
Сопоставление салиентых точек
47J. Jia and C.-K. Tang, “Image stitching using structure
deformation,” IEEE Transactions on PAMI, 2008.
48. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Деформация структуры
Построение итоговой деформации
48J. Jia and C.-K. Tang, “Image stitching using structure
deformation,” IEEE Transactions on PAMI, 2008.
49. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Деформация структуры
Построение итогового результата
49J. Jia and C.-K. Tang, “Image stitching using structure
deformation,” IEEE Transactions on PAMI, 2008.
50. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Деформация структуры
Результаты (1)
50
Конкуренты Предложенный метод.
Найденный шов и
конечный результат
J. Jia and C.-K. Tang, “Image stitching using structure
deformation,” IEEE Transactions on PAMI, 2008.
51. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Деформация структуры
Результаты (2)
51
Оптимальный шов Предложенный методПростое смешение
J. Jia and C.-K. Tang, “Image stitching using structure
deformation,” IEEE Transactions on PAMI, 2008.
52. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Деформация структуры
Результаты (3)
52
Poisson Editing Предложенный метод
Простое смешение Оптимальный шов
GIST1 Деформация структуры
J. Jia and C.-K. Tang, “Image stitching using structure
deformation,” IEEE Transactions on PAMI, 2008.
53. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Деформация структуры
Результаты (4)
53
Исходные изображения Предложенный метод
J. Jia and C.-K. Tang, “Image stitching using structure
deformation,” IEEE Transactions on PAMI, 2008.
54. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Предложенный метод
Анализ
Достоинства:
Способен смоделировать произвольную
деформацию
Визуальное качество превосходит другие state of
art методы
Недостаток:
Неверное сопоставление салиентных точек может
привести к нестабильности во времени
54J. Jia and C.-K. Tang, “Image stitching using structure
deformation,” IEEE Transactions on PAMI, 2008.
55. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Содержание
Введение
Гибридное восстановление фона
Бесшовный монтаж
Laplacian Pyramid
Optimal seam
Poisson Image Editing
Деформация структуры
Заключение
55
56. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Заключение
Направления дальнейшей работы
56
57. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Литература
1. M. Ebdelli, C. Guillemot, and O. Le Meur, “Examplar-based video
inpainting with motion-compensated neighbor embedding,” in Proc. of
the IEEE Intl. Conf. on Image Processing, ICIP, 2012.
2. E. H. Adelson, C. H. Anderson, J. R. Bergen, P. J. Burt, and J. M.
Ogden, “Pyramid methods in image processin,” RCA Engineer,
29(6):33–41, 1984.
3. V. Kwatra, A. Schodl, I. Essa, G. Turk, and A. Bobick, “Graphcut
textures: Image and video synthesis using graph cuts,” in SIGGRAPH,
2003.
4. P. Perez, M. Gangnet, and A. Blake, “Poisson image editing,” ACM
SIGGRAPH, 22(3):313–318, 2003.
5. J. Jia and C.-K. Tang, “Image stitching using structure deformation,”
IEEE Transactions on Pattern Analysis and Machine Intelligence,
30(4):617–631, 2008.
57