1. Обзор методов поиска и
сопровождения особых
точек
Моисейцев Алексей
Video Group
CS MSU Graphics & Media Lab

2. Only for
Maxus 
Содержание
 Введение
 KLT
 IPAN
 Particle Video
2
CS MSU Graphics & Media Lab (Video Group)

3. Only for
Maxus 
Введение
 Задача:
 Сопоставить каждому трехмерному объекту сцены
набор точек, неподвижных относительно объекта,
и отслеживать траектории этих точек.
 Применение:
 Определение траекторий движения отдельных
объектов
 Восстановление движения камеры
 Выделение информации о перспективе в сцене
3
CS MSU Graphics & Media Lab (Video Group)

4. Only for
Maxus 
Введение
 Точечная особенность – точка
сцены, окрестность которой можно
отличить от всех окрестностей
соседних точек сцены.
 Траектория – последовательность
координат точечной особенности в
видео.
4
CS MSU Graphics & Media Lab (Video Group)

5. Only for
Maxus 
Введение
5
CS MSU Graphics & Media Lab (Video Group)

6. Only for
Maxus 
Введение
6
CS MSU Graphics & Media Lab (Video Group)

7. Only for
Maxus 
Содержание
 Введение
 KLT
 IPAN
 Particle Video
7
CS MSU Graphics & Media Lab (Video Group)

8. Only for
Maxus 
KLT (Kanade-Lucas-Tomasi)
Модель движения
- вектор смещения
Аффинная модель движения:
Good Features to Track, Jianbo Shi, Carlo Tomasi, 8
CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

9. Only for
Maxus 
KLT
Нахождение параметров движения
Минимизация функции
W – окно
w(x) – весовая функция
I – предыдущий кадр
J – следующий кадр
Good Features to Track, Jianbo Shi, Carlo Tomasi, 9
CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

10. Only for
Maxus 
KLT
Линейная модель
Симметричная запись:
Линеаризация:
Условие
10
CS MSU Graphics & Media Lab (Video Group) Derivation of Kanade-Lucas-Tomasi Tracking Equation, Stan Birchfield, 1997

11. Only for
Maxus 
KLT
Линейная модель
Производная ошибки:
Условие минимума:
11
CS MSU Graphics & Media Lab (Video Group) Derivation of Kanade-Lucas-Tomasi Tracking Equation, Stan Birchfield, 1997

12. Only for
Maxus 
KLT
Линейная модель
Окончательный вид уравнения:
Запись в виде СЛАУ:
12
CS MSU Graphics & Media Lab (Video Group) Derivation of Kanade-Lucas-Tomasi Tracking Equation, Stan Birchfield, 1997

13. Only for
Maxus 
KLT
Нахождение параметров движения
Решение СЛАУ:
- искомое решение
Good Features to Track, Jianbo Shi, Carlo Tomasi, 13
CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

14. Only for
Maxus 
KLT
Нахождение параметров движения
Good Features to Track, Jianbo Shi, Carlo Tomasi, 14
CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

15. Only for
Maxus 
KLT
Нахождение параметров движения
 Уравнение Tz =a дает лишь
приближенную оценку на величину
смещения d
 Решение: Необходимо делать
несколько итераций!
Good Features to Track, Jianbo Shi, Carlo Tomasi, 15
CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

16. Only for
Maxus 
KLT
Итеративное решение
I J
итерация 1
16
CS MSU Graphics & Media Lab (Video Group)

17. Only for
Maxus 
KLT
Итеративное решение
I J
итерация 2
17
CS MSU Graphics & Media Lab (Video Group)

18. Only for
Maxus 
KLT
Итеративное решение
I J
итерация 3
18
CS MSU Graphics & Media Lab (Video Group)

19. Only for
Maxus 
KLT
Итеративное решение
 Ошибки в D приводят
к ошибкам в оценке
величины смещения d
 Можно искать корни
уравнения Zd = e
 Аффинные
преобразования
можно заменить
историей областей
19
CS MSU Graphics & Media Lab (Video Group)

20. Only for
Maxus 
KLT
Выбор особенностей
 Выбор текстурированных областей или
областей с уголками не гарантирует
возможность их отслеживания
 Для решения уравнения
желательно иметь хорошо обусловленную
матрицу Z
Good Features to Track, Jianbo Shi, Carlo Tomasi, 20
CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

21. Only for
Maxus 
KLT
Выбор особенностей
 λ1, λ2 – собственные значения Z
 λ1, λ2 < λth – гладкие области
 λ1 < λth < λ2 – границы
 λth < λ1, λ2 – углы
Good Features to Track, Jianbo Shi, Carlo Tomasi, 21
CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

22. Only for
Maxus 
KLT
Пример работы
оригинальное 4-я итерация 8-я итерация 19-я итерация целевое
изображение изображение
Good Features to Track, Jianbo Shi, Carlo Tomasi, 22
CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

23. Only for
Maxus 
KLT
Пример работы
различие derror, Aerror, d, A,
ошибка ошибка смешение деформация
смещения деформации
Good Features to Track, Jianbo Shi, Carlo Tomasi, 23
CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

24. Only for
Maxus 
KLT
Пример работы
различие d, A,
смешение деформация
Good Features to Track, Jianbo Shi, Carlo Tomasi, 24
CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

25. Only for
Maxus 
KLT
Пример работы
Good Features to Track, Jianbo Shi, Carlo Tomasi, 25
CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

26. Only for
Maxus 
KLT
Пример работы
Good Features to Track, Jianbo Shi, Carlo Tomasi, 26
CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

27. Only for
Maxus 
KLT
Пример работы
Good Features to Track, Jianbo Shi, Carlo Tomasi, 27
CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

28. Only for
Maxus 
KLT
Пример работы
# кадра
Good Features to Track, Jianbo Shi, Carlo Tomasi, 28
CS MSU Graphics & Media Lab (Video Group) IEEE Conference on Computer Vision and Pattern Recognition, 1994

29. Only for
Maxus 
KLT
 Достоинства
 Учет аффинных преобразований
 GPU-реализации
 Недостатки
 Подвержен накоплениям ошибок
29
CS MSU Graphics & Media Lab (Video Group)

30. Only for
Maxus 
Содержание
 Введение
 KLT
 IPAN
 Particle Video
30
CS MSU Graphics & Media Lab (Video Group)

31. Only for
Maxus 
IPAN
 Недостаток предыдущего метода:
 Точки могут перекрываться, что
приводит к разрыву траекторий
 Предположения:
 Неразличимость точек
 Гладкое движение
 Ограниченная скорость
 Короткие по времени перекрытия
Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. 31
CS MSU Graphics & Media Lab (Video Group) Verestói, 1998, International Conf. on Pattern Recognition

32. Only for
Maxus 
Неразличимость точек
32
CS MSU Graphics & Media Lab (Video Group)

33. Only for
Maxus 
IPAN
Обработка
Инициализация Постобработка
особенностей
Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. 33
CS MSU Graphics & Media Lab (Video Group) Verestói, 1998, International Conf. on Pattern Recognition

34. Only for
Maxus 
IPAN
Функция стоимости
 Первое слагаемое отвечает за изменение направления движения
 w1 ~ 0.1
 Второе слагаемое отвечает за изменение скорости
 w2 ~ 0.9
Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. 34
CS MSU Graphics & Media Lab (Video Group) Verestói, 1998, International Conf. on Pattern Recognition

35. Only for
IPAN
Maxus 
Инициализация
 Pf,i – точечные особенности
+
 S f,i – область достижимости для ТО i из кадра f
Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. 35
CS MSU Graphics & Media Lab (Video Group) Verestói, 1998, International Conf. on Pattern Recognition

36. Only for
IPAN
Maxus 
Инициализация
 Для всех P2,i
 Перебор всех троек (P1,a, P2,i, P3,b)
 Подсчет функции стоимости δ(P1,a, P2,q, P3,b)
 Поиск лучшего приближения при фиксированном P3,b
 Поиск лучшего приближения при фиксированном P1,a
 Отсечение плохих приближений: δ(P1,a, P2,q, P3,b) < δmax
Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. 36
CS MSU Graphics & Media Lab (Video Group) Verestói, 1998, International Conf. on Pattern Recognition

37. Only for
IPAN
Maxus 
Обработка последовательных кадров
 Z-точки – точки без связей на Fk-1
 B-точки – точки на Fk-1, cвязанные только с Fk-2
 Рассматриваются только Z-точки
 Обработка аналогична инициализации, но существующие связи не
разрушаются
Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. 37
CS MSU Graphics & Media Lab (Video Group) Verestói, 1998, International Conf. on Pattern Recognition

38. Only for
IPAN
Maxus 
Постобработка
Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. 38
CS MSU Graphics & Media Lab (Video Group) Verestói, 1998, International Conf. on Pattern Recognition

39. Only for
Maxus 
IPAN
Функция стоимости
ve – скорость движения в предыдущем кадре
θe – угол направления в предыдущем кадре
Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. 39
CS MSU Graphics & Media Lab (Video Group) Verestói, 1998, International Conf. on Pattern Recognition

40. Only for
IPAN
Maxus 
Результат работы
Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. 40
CS MSU Graphics & Media Lab (Video Group) Verestói, 1998, International Conf. on Pattern Recognition

41. Only for
Maxus 
IPAN
 Достоинства
 Нахождение открытий/закрытий
 Сопровождение частично
перекрывающихся траекторий
 Недостатки
 Требуется высокая точность выделения
особенностей
41
CS MSU Graphics & Media Lab (Video Group)

42. Only for
Maxus 
Содержание
 Введение
 KLT
 IPAN
 Particle Video
42
CS MSU Graphics & Media Lab (Video Group)

43. Only for
Maxus 
Particle Video
Particle Video: Long-Range Motion Estimation using Point Trajectories, 43
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

44. Only for
Maxus 
Particle Video
Схема алгоритма
Нахождение
Выделение Фильтрация
оптического
наложений потока
потока
Удаление и
Распространение Связывание Уточнение
добавление
особенностей особенностей положения
особенностей
Particle Video: Long-Range Motion Estimation using Point Trajectories, 44
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

45. Only for
Maxus 
Particle Video
Оптический поток
 Алгоритм нахождения оптического
потока – «Черный ящик»
 Пары последовательных кадров
сравниваются независимо
 Используется пирамида изображений
Particle Video: Long-Range Motion Estimation using Point Trajectories, 45
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

46. Only for
Maxus 
Particle Video
Оптический поток
u,v поле потока
I изображение
k номер компоненты изображения
r функциявидимости
Particle Video: Long-Range Motion Estimation using Point Trajectories, 46
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

47. Only for
Maxus 
Particle Video
Оптический поток
Ix, Iy - производные яркости по x и y
N - ядро гауссиана
 l  10 - локальное сглаживание
g  5 - глобальное сглаживание
 b  1 .5
Particle Video: Long-Range Motion Estimation using Point Trajectories, 47
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

48. Only for
Maxus 
Particle Video
Выделение наложений
 Дивергенция потока
 Условие открытия
 Изменение яркости
 Карта наложений
Particle Video: Long-Range Motion Estimation using Point Trajectories, 48
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

49. Only for
Maxus 
Particle Video
Фильтрация потока
 Билатеральный фильтр
 Весовая функция
Particle Video: Long-Range Motion Estimation using Point Trajectories, 49
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

50. Only for
Maxus 
Particle Video
Фильтрация потока
 Билатеральный фильтр
 Ограничения:
 ( x  x1 ) 2  ( y  y1 ) 2   2
 Работа только рядом с границами
g ( x, y, t )  N g x, y, t ; 3  0.05
ˆ
Particle Video: Long-Range Motion Estimation using Point Trajectories, 50
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

51. Only for
Maxus 
Particle Video
Второй проход
Распространение Связывание Уточнение Удаление Добавление
особенностей особенностей положения особенностей особенностей
Particle Video: Long-Range Motion Estimation using Point Trajectories, 51
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

52. Only for
Maxus 
Particle Video
Распространение особенностей
u,v поле потока
xi , yi координаты частицы i
Particle Video: Long-Range Motion Estimation using Point Trajectories, 52
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

53. Only for
Maxus 
Particle Video
Связывание особенностей
Триангуляция Делоне:
DT(S) – триангуляция Делоне для множества точек S, если никакая
точка A из S не содержится внутри окружности, описанной вокруг
треугольника из DT(S), такого, что ни одной из вершин его не
является точка A.
Particle Video: Long-Range Motion Estimation using Point Trajectories, 53
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

54. Only for
Maxus 
Particle Video
Связывание особенностей
Particle Video: Long-Range Motion Estimation using Point Trajectories, 54
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

55. Only for
Maxus 
Particle Video
Связывание особенностей
Вычисление весов ребер:
li , j  Di, j  - вес ребра
Particle Video: Long-Range Motion Estimation using Point Trajectories, 55
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

56. Only for
Maxus 
Particle Video
Связывание особенностей
Particle Video: Long-Range Motion Estimation using Point Trajectories, 56
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

57. Only for
Maxus 
Particle Video
Связывание особенностей
 Вычисление весов особенностей:
 Сохранение окна:
Particle Video: Long-Range Motion Estimation using Point Trajectories, 57
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

58. Only for
Maxus 
Particle Video
Уточнение положения
 Условие на совпадение окон:
 Условие на движение соседей:
 Условие на гладкость траектории:
Particle Video: Long-Range Motion Estimation using Point Trajectories, 58
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

59. Only for
Maxus 
Particle Video
Уточнение положения
 d  4,  f  0.5
Particle Video: Long-Range Motion Estimation using Point Trajectories, 59
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

60. Only for
Maxus 
Particle Video
Уточнение положения
 Необходимое условие минимума:
 Линеаризация:
Particle Video: Long-Range Motion Estimation using Point Trajectories, 60
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

61. Only for
Maxus 
Particle Video
Уточнение положения
Particle Video: Long-Range Motion Estimation using Point Trajectories, 61
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

62. Only for
Maxus 
Particle Video
Уточнение положения
Решение уравнений относительно dxi,dyi:
1. dxi,dyi = 0
2. Вычисление Ψ’
3. Решение СЛАУ
4. Переход к п.2
5. xi = xi + dxi
6. yi = yi + dyi
Particle Video: Long-Range Motion Estimation using Point Trajectories, 62
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

63. Only for
Maxus 
Particle Video
Удаление особенностей
 Если E(i,t) > th, особенность помечается
как найденная неверно
 Если особенность i найдена верно
менее чем на трех кадрах подряд, то
она удаляется.
Particle Video: Long-Range Motion Estimation using Point Trajectories, 63
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

64. Only for
Maxus 
Particle Video
Добавление особенностей
 Нахождение степени текстурирования
 x, y   arg max  I x, y   N I x, y ;   10

 Если расстояние от пикселя (x,y) до
ближайшей особенности больше
σ(x,y), то добавить (x,y) в список
особенностей
Particle Video: Long-Range Motion Estimation using Point Trajectories, 64
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

65. Only for
Maxus 
Particle Video
Добавление особенностей
Particle Video: Long-Range Motion Estimation using Point Trajectories, 65
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

66. Only for
Maxus 
Particle Video
Добавление особенностей
σ(x,y)
Particle Video: Long-Range Motion Estimation using Point Trajectories, 66
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

67. Only for
Maxus 
Particle Video
Добавление особенностей
Particle Video: Long-Range Motion Estimation using Point Trajectories, 67
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

68. Only for
Maxus 
Particle Video
Пример работы
Particle Video: Long-Range Motion Estimation using Point Trajectories, 68
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

69. Only for
Maxus 
Particle Video
Пример работы
Particle Video: Long-Range Motion Estimation using Point Trajectories, 69
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

70. Only for
Maxus 
Particle Video
Пример работы
Particle Video: Long-Range Motion Estimation using Point Trajectories, 70
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

71. Only for
Maxus 
Particle Video
Пример работы
http://rvsn.csail.mit.edu/pv/
Particle Video: Long-Range Motion Estimation using Point Trajectories, 71
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

72. Only for
Maxus 
Particle Video
Пример работы
http://rvsn.csail.mit.edu/pv/
Particle Video: Long-Range Motion Estimation using Point Trajectories, 72
CS MSU Graphics & Media Lab (Video Group) Peter Sand, Seth Teller, CVPR, 2006, IEEE

73. Only for
Maxus 
Particle Video
 Достоинства:
 Высокая точность
 Обработка закрытий/открытий
 Недостатки:
 Очень низкая скорость работы
 Выделение недостоверных особенностей
73
CS MSU Graphics & Media Lab (Video Group)

74. Only for
Maxus 
Литература
 Particle Video: Long-Range Motion Estimation using Point Trajectories,
Peter Sand, Seth Teller, CVPR, 2006, IEEE
 Good Features to Track, Jianbo Shi, Carlo Tomasi, IEEE Conference on
Computer Vision and Pattern Recognition, 1994
 Derivation of Kanade-Lucas-Tomasi Tracking Equation, Stan Birchfield,
1997
 Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J.
Verestói, 1998, International Conf. on Pattern Recognition
 Stable 2D Feature Tracking for Long Video Sequences, Jong-Seung
Park, Jong-Hyun Yoon, Chungkyue Kim, 2008, International Journal of
Signal Processing, Image Processing and Pattern Recognition,
 Combining local and global motion models for feature point tracking,
Aeron Buchanan, Andrew Fitzgibbon, CVPR, 2007
 High Accuracy Optical Flow Estimation Based on a Theory for Warping,
Thomas Brox, Andr´es Bruhn, Nils Papenberg, and Joachim Weickert,
2004, 8th European Conference on Computer Vision
74
CS MSU Graphics & Media Lab (Video Group)

75. Only for
Maxus 
Вопросы
?
75
CS MSU Graphics & Media Lab (Video Group)