СИСТЕМА ОЦЕНКИ УЯЗВИМОСТЕЙ CVSS 4.0 / CVSS v4.0 [RU].pdf
Оценка уровня шума для видео
1. Оценка уровня
шума для видео
Борис Кумок
Video Group
CS MSU Graphics & Media Lab
09.09.2010 1
2. Содержание доклада
Введение
Метод гистограмм
Метод BBC
Temporal SO
Метод градиентов
MSU Graphics & Media Lab (Video Group) 2
3. Введение
Определение уровня шума требуется для:
Подавление шума
Сжатие видео
Сегментация
Определение границ
Для большинства приложений критична
точность оценки, а для видео важна еще и
скорость.
MSU Graphics & Media Lab (Video Group) 3
4. Постановка задачи
По входному изображению определить уровень шума.
Полагая, что шум является белым с нормальным
распределением (AWGN), сведем задачу к
определению σ.
x2
p ( x) 1
2
e 2 2
Additive noise model
g ( x, y) f ( x, y) n( x, y)
MSU Graphics & Media Lab (Video Group) http://en.wikipedia.org/wiki/Normal_distribution 4
5. Способы решения
Методы можно разделить на следующие классы:
Intra-frame
Filter-based
Block-based
Wavelet-based
Histogram-based
Inter-frame
MSU Graphics & Media Lab (Video Group) 5
6. Содержание доклада
Введение
Метод гистограмм
Метод BBC
Temporal SO
Метод градиентов
MSU Graphics & Media Lab (Video Group) 6
7. Метод гистограмм
Предполагается, что видео снято со статической
камеры
Схема алгоритма:
1. вычисление разности кадров
2. приближение гистограммы разности кадров
гаусианом
3. дисперсия шума предполагается равной дисперсии
найденного гаусиана
Spatiotonal adaptivity in Super-Resolution of Undersampled Image
MSU Graphics & Media Lab (Video Group) Sequences,” Ph.D. Thesis, Delft University of Technology, 2006.
7
8. Метод гистограмм
1. Вычисление разности кадров
Наиболее простой метод оценки дисперсии шума:
где I1, I2 – два кадра
1 1 2
noise 2 var I1 I 2 2 N I1 I 2
2 1 N – кол-во пикселей
N в кадре
Движущиеся
объекты искажают
такую оценку
Spatiotonal adaptivity in Super-Resolution of Undersampled Image
MSU Graphics & Media Lab (Video Group) Sequences,” Ph.D. Thesis, Delft University of Technology, 2006.
8
9. Метод гистограмм
2. Приближение гистограммы гаусианом
Производится поиск гаусиана, приближающего
гистограмму разности
x m 2
g x
A
exp
2 2
2
2 noise
2 2
Приближение производится
методом Nelder-Mead,
который позволяет
минимизировать MAE (mean
absolute error).
Spatiotonal adaptivity in Super-Resolution of Undersampled Image
MSU Graphics & Media Lab (Video Group) Sequences,” Ph.D. Thesis, Delft University of Technology, 2006.
9
10. Метод гистограмм
Свойства алгоритма
Достоинства:
• Может быть использован для шумов с не
нормальным распределением.
Недостатки:
• Не работает для «сложных» видов глобального
движения.
Особенности алгоритма:
• Возможно адаптировать алгоритм для обработки
видео с нестатическим фоном (используя
компенсацию движения)
Spatiotonal adaptivity in Super-Resolution of Undersampled Image
MSU Graphics & Media Lab (Video Group) Sequences,” Ph.D. Thesis, Delft University of Technology, 2006.
10
11. Содержание доклада
Введение
Метод гистограмм
Метод BBC
Temporal SO
Метод градиентов
MSU Graphics & Media Lab (Video Group) 11
12. Метод BBC
Идея
Идея алгоритма:
1. Вычисление разности кадров (по модулю)
2. Размытие
3. Вычисление минимума каждой строки
4. Результирующая оценка производится на основе
среднего значения минимумов строк
5. Минимизация по времени
Использование минимумов позволяет отделить шум от движения.
При этом полагается, что в каждой строке есть неподвижная
область.
MSU Graphics & Media Lab (Video Group) "Video Noise Reduction" BBC Research Dept. 1984
13. Метод BBC
1. Вычисление разности кадров
Вычисляется разность между текущим и обработанным
предыдущим кадром. Разность берется по модулю.
При отсутствии движения разность содержит только шум и
имеет «полугаусово» распределение:
2 0.8
Распределение
шума после 2 1 2 2 0.36 2
вычитания
σ – дисперсия шума,
кадров σ’ – получившаяся дисперсия
μ – получившееся матожидание
MSU Graphics & Media Lab (Video Group) "Video Noise Reduction" BBC Research Dept. 1984
14. Метод BBC
2. Размытие
Размытие производится простым прямоугольным усреднением без
весов. Предлагаемый размер фильтра – 15 x 5.
После размытия распределение становится близким к
нормальному. Матожидание сохраняется, а дисперсия
уменьшается пропорционально размеру фильтра.
2
Распределение
шума после 2 2 n 1 2 2 n
применения
n – размер фильтра
фильтра
σ – дисперсия шума
σ’’ – дисперсия после размытия
MSU Graphics & Media Lab (Video Group) "Video Noise Reduction" BBC Research Dept. 1984
15. Метод BBC
3. Вычисление минимума строк
Для каждой строки находится ее минимальное значение. Это
позволяет отделить шум от движения.
Полагается, что в каждой строке
есть область без движения.
Т.к. из-за размытия пикселы не независимы, для вычисления
минимума они берутся с шагом равным размеру фильтра.
MSU Graphics & Media Lab (Video Group) "Video Noise Reduction" BBC Research Dept. 1984
16. Метод BBC
Взятие минимума сдвигает матожидание влево и уменьшает
дисперсию. Точные значения изменений зависят от количества
минимизируемых величин (ширины строк).
m 1
pm x mpx px dx
x
m – количество величин
p(x) – распределение после размытия
pm(x) – распределение минимума
Распределение минимума m нормально
распределенных случайных величин
MSU Graphics & Media Lab (Video Group) "Video Noise Reduction" BBC Research Dept. 1984
17. Метод BBC
4. Вычисление среднего
Матожидание минимума строк E вычисляется как среднее
минимумов. Используя связь распределений можно найти сигму
шума.
2
2 1 2 2 n
E k m
E – среднее минимумов строк
km – константа, зависящая от ширины строки
MSU Graphics & Media Lab (Video Group) "Video Noise Reduction" BBC Research Dept. 1984
18. Метод BBC
5. Минимизация по времени
Для повышения точности оценку шума дополнительно
минимизируют, т.е. новая оценка равна минимуму старой и
текущего кадра.
min t ,
t 1
, если сменилась сцена
Если произошла смена сцены, то минимум не используется. За
обнаружение таких смен отвечает специальный детектор.
MSU Graphics & Media Lab (Video Group) "Video Noise Reduction" BBC Research Dept. 1984
19. Метод BBC
Обнаружение смены сцен
Для каждой разности кадров считается сумма по всем пикселям.
При смене сцен значение этой суммы резко возрастет.
Такой детектор плохо работает на сложных переходах между
сценами (затемнение, проявление) или когда сцены содержат
много движения.
Поэтому предлагается каждые 5 секунд автоматически
генерировать сигнал смены сцен, если детектор не срабатывал
10 секунд.
MSU Graphics & Media Lab (Video Group) "Video Noise Reduction" BBC Research Dept. 1984
20. Метод BBC
6. Защита от движения
Т.к. для работы алгоритма необходимо наличие неподвижных
областей, то кадры с большим количеством движения
предлагается пропускать.
Полагается, что движение
когда-нибудь кончается.
Детектор движения
Для разности кадров вычисляются суммы пикселей в строках.
Детектор срабатывает, если разность максимальной и
минимальной сумм больше некоторого порога.
MSU Graphics & Media Lab (Video Group) "Video Noise Reduction" BBC Research Dept. 1984
21. Метод BBC
Свойства алгоритма
Достоинства:
• Метод разработан с учетом эффективной
реализации в железе.
Недостатки:
• Слишком сильные предположения.
Особенности алгоритма:
• Существует усложнение для уровней яркости.
MSU Graphics & Media Lab (Video Group) "Video Noise Reduction" BBC Research Dept. 1984
22. Содержание доклада
Введение
Метод гистограмм
Метод BBC
Temporal SO
Метод градиентов
MSU Graphics & Media Lab (Video Group) 22
23. Temporal SO
Идея
1. Образуем из набора кадров 3D стопку
2. Разобьем ее на блоки
3. Выберем наиболее «гладкие» блоки
1. Гладкие пространственно (S)
2. Гладкие временно (T)
3. Смешано гладкие (ST, VT, HT)
4. Вычислим дисперсию выбранных блоков
5. Получим результирующую оценку шума
M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio-
MSU Graphics & Media Lab (Video Group) Temporal Video Noise Estimation, IEEE 2006
23
24. Temporal SO
Оценка гладкости
Гладкость блоков
определяется с
помощью детектора
границ.
k I k i
i
Мера гладкости – сумма
сверток по всем пикселам
блока.
M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio-
MSU Graphics & Media Lab (Video Group) Temporal Video Noise Estimation, IEEE 2006
24
25. Temporal SO
Вычисление дисперсии
Блоки могут быть гладкими во времени (low-motion), но совсем не
гладкими пространственно (текстура). Поэтому меры гладкости не
смешиваются, для каждого типа детектора есть своя. Дисперсия
различных блоков тоже считается по-разному.
1. для S и T
1. считается дисперсия в слоях (S или T)
2. дисперсия блока полагается среднему дисперсий его слоев
2. для ST, VT и HT
1. дисперсия считается по целому блоку
M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio-
MSU Graphics & Media Lab (Video Group) Temporal Video Noise Estimation, IEEE 2006
25
26. Temporal SO
Алгоритм
1. Для каждого направления:
Выбрать N наиболее гладких по этому
направлению блоков.
Для каждого выбранного блока
Если блок гладок в S (T), то дисперсия в нем равна
среднему дисперсий по слоям S (T).
Если блок гладок в ST, VT или ZT, то дисперсия
считается по всему блоку обычным образом.
Дисперсия направления равна среднему (или
медиане) дисперсий блоков.
2. Сигма шума равна среднему (медиане)
дисперсий по направлениям.
M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio-
MSU Graphics & Media Lab (Video Group) Temporal Video Noise Estimation, IEEE 2006
26
27. Temporal SO
Алгоритм
Для каждого направления
Найти N наиболее гладких блоков
S T ST VT ZT Набор N блоков
гладких по направлению.
Дисперсия в слоях Дисперсия по всему
Усреднение блоку
Дисперсия блоков
Медиана блоков одного направления
Дисперсия
σS σT σST σVT σZT
для направления
Медиана σ
M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio-
MSU Graphics & Media Lab (Video Group) Temporal Video Noise Estimation, IEEE 2006
27
28. Temporal SO
Свойства алгоритма
Достоинства:
• Сравнительно быстрый алгоритм.
Недостатки:
• Требует много дополнительной памяти.
Особенности алгоритма:
• Является развитием аналогичного пространственного
метода. Качество работы зависит от детектора границ.
MSU Graphics & Media Lab (Video Group) "Video Noise Reduction" BBC Research Dept. 1984
29. Temporal SO
Сравнение
Средняя ошибка для
последовательностей
Prlcar, Tennis, Train,
Football, Car и
Flowergarden и уровней
шума 20, 30, 40 dB.
M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio-
MSU Graphics & Media Lab (Video Group) Temporal Video Noise Estimation, IEEE 2006
29
30. Содержание доклада
Введение
Метод гистограмм
Метод BBC
Temporal SO
Метод градиентов
MSU Graphics & Media Lab (Video Group) 30
31. Метод градиентов
Алгоритм
1. Вычисление градиентов (вейвлет преобразование)
1. Пространственных
2. Временных
2. Получение гистограмм длин градиентов
3. Выбор «лучшей» гистограммы
1. Вычисление параметров σ для пространственной и временной
моделей
2. Оценка Колмогорова-Смирнова
4. Получение оценки дисперсии шума
Noise estimation for video processing based on spatial-temporal
MSU Graphics & Media Lab (Video Group) gradient histograms, IEEE June 2006.
31
32. Метод градиентов
Вычисление градиентов
Пространственные градиенты вычисляются с помощью
2D вейвлет преобразования. HL и LH области будут
содержать компоненты градиентов.
Исходное изображение Преобразование Хаара
Noise estimation for video processing based on spatial-temporal
MSU Graphics & Media Lab (Video Group) gradient histograms, IEEE June 2006.
32
33. Метод градиентов
Вычисление градиентов
Временные градиенты вычисляются как
одномерная свертка последовательных кадров
Входные данные вейвлет преобразования
Noise estimation for video processing based on spatial-temporal
MSU Graphics & Media Lab (Video Group) gradient histograms, IEEE June 2006.
33
34. Метод градиентов
Вычисление гистограмм длин
1. Длины градиентов вычисляются по формулам:
длины временных градиентов: длины пр-х градиентов:
GT r , t HT r , t HT r q, t GS r , t HLr , t LH r , t
2 2 2 2
q – произвольно выбранный вектор
r – вектор координат точки
2. Используя приведенные формулы,
вычисляются гистограммы длин:
hGT , hGS гистограммы длин градиентов
3. Полученные гистограммы затем размываются
Noise estimation for video processing based on spatial-temporal
MSU Graphics & Media Lab (Video Group) gradient histograms, IEEE June 2006.
34
35. Метод градиентов
Модель распределения
Полагая, что шум имеет нормальное распределение,
строятся модели распределения длин градиентов:
GT , GS ~ Rayleigh
X , Y ~ N 0, 2 Z X Y ~ Rayleigh 2 2
x exp
Распределение Райелиха: x2
px, , F x, 1 exp
2 2 x2
2 2 2
Для каждой модели выберем параметр σ с помощью
метода максимального правдоподобия:
( x ) arg max L ( x , ) Функция Lx, pxi ,
правдоподобия: xi
MSU Graphics & Media Lab (Video Group) http://en.wikipedia.org/wiki/Rayleigh_distribution. 35
36. Метод градиентов
Модель распределения
Распределение Райелиха:
p x,
x exp
x2
2 2
2
arg max p , x
x
arg max hG k
x
MSU Graphics & Media Lab (Video Group) http://en.wikipedia.org/wiki/Rayleigh_distribution. 36
37. Метод градиентов
Выбор «лучшей» гистограммы
Точность каждой из построенных моделей оценивается с
помощью теста Колмогорова-Смирнова. Для каждой
модели вычисляется значение δ по формуле:
max Fn x F x,
x
1 если Gi x
Fn x i 1
1
n
n
F x, 1 exp
x2
2 2
0
Количество градиентов с длиной Модельная функция
меньшей x распределения длин
градиентов
Noise estimation for video processing based on spatial-temporal
MSU Graphics & Media Lab (Video Group) gradient histograms, IEEE June 2006.
37
38. Метод градиентов
Получение оценки
Выбор «лучшей» гистограммы (S или Т) производится
согласно соотношению:
k arg max hG Наиболее «частая»
S , если S S T T k
длина градиентов
k
T , иначе Оценка точности из теста
k Колмогорова-Смирнова
Итоговая оценка дисперсии
шума вычисляется по k C k k C=1.25
формуле:
Noise estimation for video processing based on spatial-temporal
MSU Graphics & Media Lab (Video Group) gradient histograms, IEEE June 2006.
38
39. Метод градиентов
Получение оценки
Для увеличения
стабильности оценку
дополнительно
сглаживают:
f t t f t 1 2
Noise estimation for video processing based on spatial-temporal
MSU Graphics & Media Lab (Video Group) gradient histograms, IEEE June 2006.
39
40. Метод градиентов
Свойства алгоритма
Достоинства:
• сравнительно высокая точность оценки
Особенности алгоритма:
• предполагается использование совместно с методами
работающими в вейвлет пространстве
Noise estimation for video processing based on spatial-temporal
MSU Graphics & Media Lab (Video Group) gradient histograms, IEEE June 2006.
40
41. Метод градиентов
Сравнение
Средняя ошибка по 8 последовательностям для различных уровней шума.
Средняя ошибка по всем уровням шума для различных последовательностей.
Noise estimation for video processing based on spatial-temporal
MSU Graphics & Media Lab (Video Group) gradient histograms, IEEE June 2006.
41
42. Метод градиентов
Сравнение
Средняя ошибка по 8 последовательностям для различных уровней шума.
4
3,5 Temporal gradient
3 Spatial gradient
2,5 MAD
2 Moment matching
1,5 CDF
1 BBC
0,5
Structure oriented
0
0 5 10 15 20 25 30
Средняя ошибка по всем уровням шума для различных последовательностей.
4,5
4
3,5 Temporal gradient
3
2,5 Spatial gradient
2 MAD
1,5
1 Moment matching
0,5
0 CDF
BBC
ile
e
al
s
.
s
ta
an
ar
at
Bu
ni
tb
a
ob
G
Structure oriented
n
m
g
en
o
Te
ar
r
M
Fo
s
we
R
le
C
Sa
o
Fl
Noise estimation for video processing based on spatial-temporal
MSU Graphics & Media Lab (Video Group) gradient histograms, IEEE June 2006.
42
43. Метод градиентов
Сравнение
Время работы с 50 кадрами размера 352 x 288
Noise estimation for video processing based on spatial-temporal
MSU Graphics & Media Lab (Video Group) gradient histograms, IEEE June 2006.
43
44. Список литературы
1. J. O. Drewery, R. Storey, and N. E. Tanton, "Video Noise Reduction" BBC Research Dept.
Rep. BBC RD 1984/7, 1984
2. T. Kwaaitaal-Spassova G. deHaan and O.A. Ojo, “Automatic 2-d and 3-d noise filtering for high
quality television receivers,” International Workshop on Signal Processing and HDTV, vol. VI,
pp. 221–230, 1996.
3. V. Zlokolica, A. Pizurica, W. Philips, "Noise estimation for video processing based on spatial-
temporal gradient histograms" , IEEE Signal Processing Letters, vol. 13, no. 6, pp. 337-340,
June 2006.
4. T.Q. Pham, “Spatiotonal adaptivity in Super-Resolution of Undersampled Image Sequences,”
Ph.D. Thesis, Quantitative Imaging Group, Delft University of Technology, 2006.
5. M. Ghazal, A. Amer, and A. Ghrayeb, "Structure-Oriented Spatio-Temporal Video Noise
Estimation", in Proc. IEEE Int. Conference on Acoustics, Speech, and Signal Processing
(ICASSP), Toulouse, France, May 2006, pp. 845-848.
MSU Graphics & Media Lab (Video Group) 44
45. Вопросы
?
MSU Graphics & Media Lab (Video Group) 45