Optical Flow на GPU

Optical Flow на GPU

Илья Цветков
Video Group
CS MSU Graphics & Media Lab

Only for
Maxus 

Содержание

 Введение
 Gradient-based методы
 Глобальная модель Horn & Schunck
 Локальная модель Lucas & Kanade
 Energy-based метод
 Phase-based метод

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
2

Only for
Maxus 

Optical flow
Optical flow — векторное поле, определяющее
скорость движения каждой точки изображения
 Задача компьютерного зрения
 Первые публикации — 1980 г.
 Возможные применения:
 Сегментация
 Изменение частоты кадров видео
 Точная компенсация движения

3

Only for
Maxus 



4

Only for
Maxus 

Градиентные методы
f1 ( x), f 2 ( x) — одномерные сигналы в различные моменты времени

f 2 ( x)  f1 ( x  d ) f1 ( x) f 2 ( x)

f1 ( x  d )  f1 ( x)  df1( x)  O(d 2 )
d
f1 ( x)  f 2 ( x)  d f1( x)  O(d 2 )

 f ( x)  f 2 ( x)
d 1
f1( x)
x

Optical flow estimation. D. J. Fleet, Y. Weiss.
The Handbook in Mathematical models for Computer Vision.
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ O. Faugeras, Springer, 2005
5
N. Paragios, Y. Chen, and

Only for
Maxus 

I (x, t ) — яркость изображения в точке x  ( x, y) в момент времени t

I (x, t )  I (x   x, t   t )  x  ( x,  y)

I (x, t )  I (x, t )  I   x  I t t  O  x 2   y 2   t 2  I  ( I x , I y )
x
I  v  It  0 v  (u, v)
t

Условие optical flow (optical flow constraint, gradient constraint equation):

I (x, t )  v(x, t )  It (x, t )  0
v(x, t )  (u(x, t ), v(x, t ))

6

Only for
Maxus 

Альтернативная постановка
x(t ) — траектория движения точек изображения

I (x(t ), t )  const
d
dt
I (x(t ), t )  0
d I dx I dy I
0 I (x(t ), t )     I  v  It
dt x dt y dt t

В итоге получаем условие optical flow:

I (x, t )  v(x, t )  It (x, t )  0

7

Only for
Maxus 

Aperture problem
I (x, t )  v(x, t )  It (x, t )  0
v(x, t )  (u(x, t ), v(x, t ))

Условие optical flow не является корректно поставленной
задачей.
v — проекция v на вектор I v

 I t I Условие optical flow
v 
I I
v

u

The Computation of Optical Flow. S. S. Beauchemin and
8
J. L. Barron. ACM Computing Surveys, 1995

Only for
Maxus 

Ограничения модели
Модель:
I (x, t )  I (x   x, t   t )

Сложности:
 Наложения

 Прозрачность, тени

 Отражения, блики

The Computation of Optical Flow. S. S. Beauchemin and
9
J. L. Barron. ACM Computing Surveys, 1995

Only for
Maxus 

Сравнение optical flow

v  (u, v)  v  1 (u, v,1)
u v 1
2 2

 
Угловая ошибка (angular error) между векторами vc и ve :

 
 E  arccos( vc  ve )

Средняя угловая ошибка (average angular error, AAE):

AAE  1
  E

Performance of optical flow techniques. J. L. Barron, D. J. Fleet,
and S. S. Beauchemin. International Journal of Computer Vision,
10
1994

Only for
Maxus 

Ground truth и визуализация

Последовательность Yosemite Ground truth

11

Only for
Maxus 



12

Only for
Maxus 

Horn & Schunck
Цель — минимизация ошибки:
v(x)  (u(x), v(x))


2 2

E ( v)    I  v  It    2 u 2  v
2
2   dx

  u u 
 u   , 
Условие optical flow Условие гладкости  x y 
 v v 
v   , 
 — параметр модели  x y 
Сводим к системе дифференциальных уравнений:
 2u  2u
I x u  I x I yv
2
   u  I x It
2 2
 u 2  2
2
x y
 2v  2v
I y v  I x I yu   22v  I y It
2
 v 2  2
2
x y

Performance of Optical Flow Techniques on Graphics Hardware.
M. Durkovic, M. Zwick, F. Obermeier, K. Diepold.
13
IEEE International Conference on Multimedia and Expo, 2006

Only for
Maxus 

Horn & Schunck
2a  a  a, где a — результат свѐртки с ядром
1 1 1
12 6 12
1 1
0
6 6
1 1 1
12 6 12

( 2  I x )u  I x I y v  ( 2u  I x It )
2
( 2  I y )v  I x I y u  ( 2v  I y It )
2

Полученная СЛАУ решается итерационным методом:
un  I x   I xun  I y vn  I t  vn  I y   I xun  I y vn  I t 
un 1  vn 1 
 2  I x2  I y
2
 2  I x2  I y
2

14

Only for
Maxus 

Реализация на GPU
vn  I y   I xun  I y vn  I t 
vn 1 
 2  I x2  I y
2

i+2
un  I x   I xun  I y vn  I t 
un 1 
 2  I x2  I y
2

i+1
Ix 
  Производные вычисляются
I y 
I  применением фильтра:
i  t
1
12  1 8 0 8 1

i−1

i−2 DT

15

Only for
Maxus 

un  I x   I xun  I y vn  I t  vn  I y   I xun  I y vn  I t 
un 1  vn 1 
 2  I x2  I y
2
 2  I x2  I y
2

Вычисление на GPU одной итерации:

uk   Ix   Ix 
v    u   
 k   k vk 1   I y    I y 
uk 1  1  I I 
v       t  t 
 k 1  Ix 

 
  
Ix
 Iy    I y 

 
 

16

Only for
Maxus 



17

Only for
Maxus 

Lucas & Kanade
Цель — минимизация ошибки:

 w(x) I (x, t )  v  It (x, t )
2
E ( v) 
x

w(x)  0, x  — весовая функция

Точка минимума — критическая точка:
E (u, v)
u x
2

  w(x) u I x  v I x I y  I x It  0 
E (u, v)
v x
2

  w(x) v I y  u I x I y  I y I t  0

18

Only for
Maxus 

Lucas & Kanade
E (u, v)
u x
2

  w(x) u I x  v I x I y  I x I t  0

E (u, v)
v x
2

  w(x) v I y  u I x I y  I y I t  0

В матричном виде:
Mv  b
 w I x
2
 w IxI y    w I x It 
M  b   
 w I y I x
 wIy 
2 

 w I y It 


Для каждой точки изображения находим вектор скорости:
v  M1b

19

Only for
Maxus 

 Формат текстур:
I 2 2
x , IxI y , I y 
 I x It , I y It 
 Элементы M и b вычисляются применением фильтра с
ядром w(x): 16 1, 4, 6, 4, 1
1

 w I x
2
 w IxI y    w I x It 
M  b   
 w I y I x
 wIy 
2 

 w I y It 


 Вычисление optical flow:
v  M1b

20

Only for
Maxus 

Результаты
Athlon64 3500+, 512 kB Cache, 2 GB RAM vs. GeForce 6800 Ultra
Ускорение, раз

21

Only for
Maxus 


 Достоинства
 Простота
 Высокая скорость работы
 Недостатки
 Низкая точность

22

Only for
Maxus 

Уточнение метода
f1 ( x) f 2 ( x) f1 ( x) f 2 ( x)

d
f1 ( x)  f 2 ( x)
d  f ( x)  f 2 ( x)
f1( x) d 1
f1( x)

xd x x 
xd x x

  d  d f1 x)  O(d 3 )
2
(
d
2 f1( x)

f1 ( x  d ) — деформированный сигнал

23

Only for
Maxus 

Уточнение метода
v0 — приближение, полученное на первом шаге v  v0   v0

I 0 (x, t   t )  I (x  v0 t , t   t )
I (x, t )  I 0 (x, t )  I 0 (x   v0 , t  1)  I (x  v0   v0 , t  1)
 v0  M1b0

v1  v0   v0 и т. д.


Итеративное приближение к точному решению:
 v j  arg min E j ( v)
 

 w(x) I j (x, t )   v  Itj (x, t )
2
E j ( v)   
x

24

Only for
Maxus 

Coarse-To-Fine Refinement
Сильное движение не может быть верно определено с
использованием рассмотренных методов.
I 0 (x, t )  I (x, t )

 
I k 1 (x)  S ( g  I k ) (x) S — оператор прореживания
g — фильтр Гаусса

E ( v)   w(x) I k (x, t )  v  Itk (x, t ) 
2
k
  k  n, 0
x

25

Only for
Maxus 

Robust estimator
 w(x) I (x, t )  v  It (x, t )
2
E ( v)  — least-squares (LS) estimator
x

e(x)  I (x, t )  v  It (x, t )

E ( v)   w(x)  (e(x),  )
x
e2
Например,  (e,  )  2
e  2

26

Only for
Maxus 



27

Only for
Maxus 

Energy-based метод
Цель — минимизация энергии:
E (u)  ED1 (u)   ED2 (u)   ES (u) ,   0


ED1 (u)    I (x  u)  I (x) dx 2
 (s2 )  s2   2

E (u)     I (x  u)  I (x)  dx
2
D2 

E (u)     u  v  dx
2 2
S 

 — регуляризацонный параметр

Towards ultimate motion estimation: combining highest
accuracy with real-time performance. A. Bruhn, J. Weickert.
28
IEEE International Conference on Computer Vision, 2005

Only for
Maxus 

Численное решение
СЛАУ для ui , vi:
0   D1 i (S11 i ui  S1 2 i vi  S13 i )   D2 i (T11 i ui  T1 2 i vi  T13 i )
 S i   S j u j   u j  ui   ui
  2 h2
j (i )

0   D1 i (S 21 i ui  S 2 2 i vi  S 2 3 i )   D2 i (T21 i ui  T2 2 i vi  T2 3 i )
 S i   S j v j   v j  vi   vi
  2 h 2 S  II T
j (i )
T  I x I x  I y I y
T T

(i) — множество пространственных соседей точки i I x  ( I xx , I yx , I zx )T
 D1  (( u,  v,1)T S( u,  v,1)) I y  ( I xy , I yy , I zy )T
 D2  (( u,  v,1)T T( u,  v,1)) I   ( I x , I y , I z )T


 S   (u   u )  (v   v)
2 2
 I z  I (x  v)  I (x)
GPU-Based Multigrid: Real-Time Performance in High Resolution
Nonlinear Image Processing. H. Grossauer, P. Thoman.
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Springer Berlin, 2008
29
Computer Vision Systems,

Only for
Maxus 

Итерационное решение
  u n1  1   u n  2 1  ru
n
 n1    n   M n
v  3v  3    n
r 
     v 

 n n n i  n 
  D1 i S11 i   D2 i T11 i      n 2 T1n2 i
S S j
n n
 n 1 i S1 2 i
D
n
D 
 j (i ) 2h 2 
Mn  
n 
 S i  S j 
n

  n 1 i S1 2 i   n 2 T1n2 i
D
n
D  n 1 i S n 2 i   n 2 i T2 2 i   
D 2 D
n

 j (i ) 2h 2 
 n i   n j u j   u n  ui
run   n 1 i S13 i   n 2 i T13 i   
n n S S j
D D
j(i ) 2 h2
n i  n v j   v n  vi
run   n 1 i S n 3 i   n 2 i T2 3 i   
n S S j j
D 2 D
j(i ) 2 h2

30

Only for
Maxus 


 calcIdJd — вычисление пространственных производных
 calcIzIxzIyz — вычисление производных по времени
 calcST — вычисление тензоров S и T:
S  IIT

T  I x I x  I y I y
T T

31

Only for
Maxus 


vn  v   v
un  u   u

 calcPsi — предварительные вычисления
 coupledJacobi — вычисление одной итерации

32

Only for
Maxus 


 Последовательность Yosemite
 GPU и GPU-RT — предложенный метод, в GPU-RT
применяется меньше итераций

33

Only for
Maxus 


 Производительность реализации GPU-RT
 GeForce 8800 GTX

34

Only for
Maxus 



35

Only for
Maxus 

Phase-based метод
Основная идея — применить предварительную фильтрацию
изображений.
( I  F )(x, t )  ( I  F )(x  v t , t   t )
Используется фильтр Габора:
x  ( x, y)T
2
x
G(x, f )  e 2 eix(2 f )

f  ( f x  , f y  )T — частота фильтра

Realtime phase-based optical flow on the GPU. K. Pauwels,
M. M. Van Hulle. IEEE Computer Society Conference on
36
Computer Vision and Pattern Recognition Workshops, 2008

Only for
Maxus 

Фильтрация
 Проводится в различных направлениях:

 Используется приближение фильтров на основе одномерных
свѐрток:

24 ×

37

Only for
Maxus 

Фильтрация
R(x) — отфильтрованное изображение

R(x)  ( I  G)(x)   (x)ei (x)
 (x)  Re( R(x))2  Im( R(x))2 — амплитуда
 Im( R(x)) 
 (x)  arctan   — фаза
 Re( R(x)) 

Phase gradient constraint:
  v   0 v  (u, v)
T
v — проекция v на     
   , 
   x y 
v 
  

t
38

Only for
Maxus 

Вычисление optical flow
  2 f
 (x) f v ( x)  v   ( x)
v   ( x)   v   ( x) 
2 f f v   ( x)

Цель — минимизация:
2
 v ( x)  v   ( x) 
E ( v(x))    v   (x)  
 O ( x ) 
 v   ( x)  
O(x) — множество направлений  , для которых имеется надѐжное предсказание v 

   a   (x)t    (x, t ) 
2

 
 n 2 1 t  n 2 1
— метрика доверия для   (x) l — порог доверия
n
n — количество рассматриваемых кадров, использовалось n  5
39

Only for
Maxus 

Coarse-To-Fine Refinement
 Метод может верно определять только вектора, которые
меньше половины длины волны фильтра
 Пирамидальное вычисление:
 
I k 1 (x)  S ( g  I k ) (x) S — оператор прореживания
Rk (x)  ( I k  G)(x) g — фильтр Гаусса

 Деформация изображения перед уточнением на более
высоком разрежении:

p k 1 (x, t )   k 1 x  2v k (x)(tc  t ), t  tc 
(n  1)
2

40

Only for
Maxus 

Реализация на CUDA
 Преимущества GPU:
 Быстрая реализация свѐртки
 Высокая пропускная способность шины
 Интерполяция «на лету»
 Основные идеи:
 Банк фильтров реализован с помощью библиотеки CUDA
 Вычисление optical flow происходит за одно применение ядра к
каждому пикселю изображения
 Расчѐт деформированного изображения основан на
интерполяции, предоставляемой GPU
 Конвейерная обработка

41

Only for
Maxus 

 GeForce 8800 GTX  Core 2 Quad 2.4 GHz
 Измерения включают  Использовалось только
обмен данными между GPU одно ядро
и CPU

42

Only for
Maxus 


Исходный кадр Ground truth
43

Only for
Maxus 


Исходный кадр  l  0.02
44

Only for
Maxus 


45

Only for
Maxus 


46

Only for
Maxus 


Исходный кадр Ground truth
47

Only for
Maxus 

 Phase-based  Другие методы

48

Only for
Maxus 


49

Only for
Maxus 


50

Only for
Maxus 

Список литературы
1. Optical flow estimation. Fleet, D. J. and Weiss, Y. The Handbook in Mathematical models
for Computer Vision. N. Paragios, Y. Chen, and O. Faugeras, Springer, 2005
2. The Computation of Optical Flow. S. S. Beauchemin and J. L. Barron. ACM Computing
Surveys, 1995
3. Performance of optical flow techniques. J. L. Barron, D. J. Fleet, and
S. S. Beauchemin. International Journal of Computer Vision, 1994
4. Performance of Optical Flow Techniques on Graphics Hardware. M. Durkovic, M. Zwick,
F. Obermeier, K. Diepold. IEEE International Conference on Multimedia and Expo, 2006
5. Towards ultimate motion estimation: combining highest accuracy with real-time
performance. A. Bruhn, J. Weickert. IEEE International Conference on Computer Vision,
2005
6. GPU-Based Multigrid: Real-Time Performance in High Resolution Nonlinear Image
Processing. H. Grossauer, P. Thoman. Computer Vision Systems, Springer Berlin, 2008
7. Realtime phase-based optical flow on the GPU. K. Pauwels, M. M. Van Hulle. IEEE
Computer Society Conference on Computer Vision and Pattern Recognition Workshops,
2008

51

Only for
Maxus 

Вопросы

?
52

Only for
Maxus 
Лаборатория компьютерной
графики и мультимедиа

Видеогруппа это:
 Выпускники в аспирантурах Англии,

Франции, Швейцарии (в России в МГУ и
ИПМ им. Келдыша)
 Выпускниками защищено 5 диссертаций

 Наиболее популярные в мире сравнения
видеокодеков
 Более 3 миллионов скачанных фильтров
обработки видео
53

Optical Flow на GPU

Recomendados

Recomendados

Más contenido relacionado

Similar a Optical Flow на GPU

Similar a Optical Flow на GPU (20)

Más de MSU GML VideoGroup

Más de MSU GML VideoGroup (20)

Optical Flow на GPU