Методы удаления пространственного шума

Методы
пространственного
шумоподавления
Борис Кумок
Video Group
CS MSU Graphics & Media Lab

21.09.2010 1

Содержание доклада
 Введение
 LMMSE
 NLM
 3D filtering
 BLS-GSM
 Steering Kernel
 ATPMF
 Alpha-trimmed mean filter

CS MSU Graphics & Media Lab (Video Group) 2

Введение
Denoising:
 Spatial
 Temporal

Виды шума:
 Белый (гауссовский)
 Импульсный
 Film grain


 LMMSE
 Простой алгоритм
 Уточнение среднего
 Учет нестатической корреляции
 NLM
 3D filtering
 BLS-GSM
 Steering Kernel
 ATPMF


LLMMSE – простой
алгоритм
Local linear minimum mean-square-error filter.
Упрощение модели.
g  f n

ˆ
f MMSE  E ( f | g )
ˆ 
f LMMSE  E ( f )  C f C g 1[ g  E ( g )]
ˆ  g  n
2 2

f LLMMSE  g  g
2 [g  g ]

"Spatially Adaptive Denoising Based on Nonstationary Correlation
CS MSU Graphics & Media Lab (Video Group) Assumption", SPIE Optical Engineering, Mar. 2004 5

LLMMSE – уточнение
оценки
Качество фильтра зависит от точности
вычисления среднего и дисперсии.

Будем учитывать хроматическую близость.

g (i, j )  1
k ,l wk ,l  w
k l
k ,l g (k , l )

 2 (i, j )  1
k ,l wk ,l  wk ,l [ g (k , l )  g (i, j )]2
k l

1, if g (i, j )  g (k , l )  T

wk ,l  
0, if g (i, j )  g (k , l )  T



LLMMSE – замечания

Фильтр размывает гладкие области и
сохраняет границы и текстуру.

Шум около границ не удаляется.


Фильтр учитывающий
нестатическую корреляцию
Фильтр работает в пространстве DFT
ˆ 
f LMMSE  E ( f )  C f C g 1[ g  E ( g )]
ˆ
W 1 f  W 1 f  (W 1C f W )(W 1C g 1W ) 1W 1 ( g  g )


S gi  gi  S ni
ˆ
Fi  Gi  [Gi  Gi ]
S gi  gi

S – power spectrum шума и изображения


Фильтр учитывающий
нестатическую корреляцию

Частоты не отвечающие за шум не
размываются. Шум около границ
подавляется.


LLMMSE - сравнение

LLMMSE WLLMMSE Предлагаемый


 LMMSE
 NLM
 Базовый алгоритм
 Ускорение
 Использование блоков пикселей
 Отбрасывание заведомо непохожих окрестностей
 Сравнение окрестностей только в Y-слое
 Выводы
 3D filtering
 BLS-GSM
 Steering Kernel
 ATPMF


NLM – базовый
алгоритм
Non local means

Идея: Выберем значение каждого пикселя
как среднее пикселей с похожими
окрестностями.
2
 ( N i )  ( N j )
2 ,
1 
NL(v)(i)   w(i, j)v(j) w(i, j) 
2
h
e
jI Z(i)
Z(i)   w(i, j)
j

M. Mahmoudi and G. Sapiro. “Fast image and video denoising via non-
CS MSU Graphics & Media Lab (Video Group) local means of similar neighborhoods.”, IEEE, Dec. 2005 12

NLM – базовый
алгоритм
Пример распределение весов.
Слева – область поиска вокруг пиксела
Справа – распределение весов по этой области

NL(v)(i)   w(i, j)v(j)
jI

2
 ( N i )  ( N j )
2 ,
1 
w(i, j) 
2
h
e
Z(i)
Z(i)   w(i, j)
j


NLM - результат


NLM – ускорение 1
Т.к. окрестности соседних пикселей
отличаются мало, будем вычислять
весовой коэффициент сразу для
группы пикселей.

Незначительное падение качества.
Значительное увеличение скорости.



Сравнение результатов фильтрации с блоками
различных размеров.

шум S=1 S=2 S=3


Большую часть времени занимает
вычисление MSE. Отбросим пиксели с
заведомо непохожими окрестностями.

Отсечение можно проводить по:
 Средняя яркость
 Среднее направление градиента

Возможно даже улучшение качества.



Весовые коэффициенты можно
вычислять только по Y-цветовым
компонентам.


 LMMSE
 NLM
 3D filtering
 Идея
 Block matching
 Hard-thresholding
 Final estimate
 Замечания
 BLS-GSM
 Steering Kernel
 ATPMF


3D filtering - идея

Объединение методов скользящего
окна и соответствия блоков.

“Image denoising with block-matching and 3D filtering”, Proc. SPIE
CS MSU Graphics & Media Lab (Video Group) Electronic Imaging: Algorithms and Systems V, 2006 20

3D filtering – block matching

Для каждого обрабатываемого блока найдем похожие на него.
Мера похожести определяется формулой:

d(Z x1, Z x 2 )  N11  (2D ( Z x1 ), thr 2 D )   (2D ( Z x 2 ), thr 2 D ) 2

 , если   
 thr 2 D 2 log( N1 )
2
 ( , thr 2 D )  
0, иначе


S xR  {x  X | d ( Z xR , Z x )   }

T2D – некое 2D преобразование. Например DCT, DFT или DWT.


3D filtering – block matching

Пример нахождения блоков


3D filtering –
hard-thresholding
Найденные на предыдущем шаге блоки сложим с стопку и
отфильтруем в каком-нибудь 3D пространстве
преобразования.

ˆ
YS XR  T31 (Y (T3 D ( Z S XR ), thr3 D ))
D

 1
 , N har  1
 XR   N har
1

ZSXR – стопка блоков похожих на данный
ωXR – весовой коэффициент для данного reference блока
Nhar – количество ненулевых коэффициентов после T3D

3D filtering – final estimate

Результат получается как взвешенное среднее
блоков входящих в стопки для всевозможных
reference блоков.

 x R X  xm S xR
ˆ
 x Yxx ( x) R

y ( x) 
ˆ
R m

 xR X  xm S xR
 x X x ( x)
R m

Xxm- 1, если x принадлежит блоку xm. Иначе 0.


3D filtering – схема


3D filtering - замечания

Для ускорения можно:
 Ограничить область поиска
 Ограничить количество 2D блоков в стопке
 Использовать шаг большего размера

Заявленная скорость: 8 секунд для изображения
256x256 на 3GHz Pentium


3D filtering – результаты



Исходное Noise (σ = 35) Результат



Исходное Noise (σ = 100) Результат


 LLMSE
 NLM
 3D filtering
 BLS – GSM
 Идея
 Формулы
 Алгоритм
 Результаты
 Steering Kernel
 ATPMF


BLS–GSM - идея

Перейдем в некоторое вейвлет пространство.

Для каждого коэффициента xc выберем его
окрестность x.

Найдем значение xc как наиболее вероятное в
наблюдаемом контексте y.

"Two-level adaptive denoising using Gaussian scale mixtures in
CS MSU Graphics & Media Lab (Video Group) overcomplete oriented pyramids," in Proc. of IEEE, Sep 2005. 31

BLS–GSM - идея

Gaussian scale mixtures:

y  x  w  zu  w

Bayes least squares estimate:

xc  E{xc | y}   xc p( xc | y )dxc  ...   p( z | y ) E{xc | y, z}dz
ˆ
0


BLS–GSM - формулы

E{xc | y}   p( z | y ) E{xc | y, z}dz
0

E{x | y, z}  zCu ( zCu  Cw ) 1 y
y  zu  w

p ( z | y )   p ( y | z ) p z ( z )dz
C y  E{z}Cu  Cw 0

Cu  C y  Cw C y| z  zCu  Cw  zC y  (1  z )Cw
1
exp(  y T C y| z y / 2)
p( y | z )  1/ 2
(2 ) N / 2 C y| z


BLS–GSM - алгоритм

 Совершить преобразование
 Для каждой плоскости
 Вычислить Cw, Cy, Cu
 Для каждой окрестности
 Для всех z из области интегрирования
– Вычислить E{xc|y,z}
– Вычислить p(y|z)
 Вычислить p(z|y)
 Вычислить E{xc|y}
 Восстановить изображение


BLS–GSM - результаты



Исходное Результат


BLS–GSM - уточнение

В алгоритме можно использовать несколько различных
вейвлет-пространств, и полученные в них результаты
усреднять.


 LMMSE
 NLM
 3D filtering
 BLS-GSM
 Steering Kernel
 Идея
 Матрица
 Результат
 ATPMF


Steering Kernel - идея

i1 K ( xi  x j , y i  y j ) yi
P

z( x j )  P
i1 K ( xi  x j , y i  y j )

Растянем ядро
фильтра так, чтобы
размытие
происходило вдоль
границ.

“Image Denoising by Adaptive Kernel Regression”, Signals, Systems and
CS MSU Graphics & Media Lab (Video Group) Computers, 2005. 40

Steering Kernel – матрица

Κ adapt( xi  x, yi  y)  det(1H i ) K ( H i1t )
1
H i  hC i
2

K – ядро фильтра
Hi – направляющая матрица

Пример (гауссиан):

( xi  x )T Ci ( xi  x )
K adapt( xi  x, yi  y)  exp{
det(Ci )
2h 2 2h2
}


Steering Kernel - матрица

Хорошим выбором Ci является:
Ci   iU i  iU i ,
T

 cos  i  sin  i   0 
Ui   , i   i
 sin  i cos  i  
1 
 0 i 


Steering Kernel - матрица
Выбор параметров. Сингулярное разложение матрицы
градиентов.
   
Gi   z x ( x j ) z x 2 ( x j )  U i SiVi T
 1 
 
   
 i  arctan( v )
v 1
2

s1   
i  s2   

 i  ( s sM   )
1
1 2 2

[v1,v2]T – доминантное направление градиента
s1, s2 – энергия по основным направлениям


Steering Kernel - алгоритм

Свертку можно повторять несколько раз. При этом
точность вычисления градиента возрастает.


Steering Kernel -
результаты

Примеры форм ядра


Steering Kernel -

Noisy σ=25 BLS-GSM Steering kernel N=2


Steering Kernel -

BLS-GSM Steering kernel N=2

Steering Kernel -

Original BLS-GSM Steering kernel N=2


Steering Kernel -
Удаленный шум

BLS-GSM Steering kernel N=2


 LMMSE
 NLM
 3D filtering
 BLS-GSM
 Steering Kernel
 ATPMF
 Импульсный шум
 Виды фильтров
 Примеры ошибок
 Идея
 Алгоритм


ATPMF – импульсный шум

Медианная фильтрация используется для
подавления импульсного шума.

U = Upos * Uamp

X=S+U

“Adaptive Two-Pass Rank Order Filter to Remove Impulse Noise in
CS MSU Graphics & Media Lab (Video Group) Highly Corrupted Images”, IEEE Trans Image Process. Feb. 2004 51

ATPMF – виды фильтров

Модификации:
 Standard
 CWMF
 ACWMF
 LUM
 SD-ROM

Все они ошибаются.


ATPMF – примеры ошибок
X=S+U
Y = MF(X)

1. Промахи
2. Ложная тревога

3. Сверхисправление


ATPMF – идея
Пространственное распределение шума
известно заранее.

После применения медианного фильтра
(любого) восстановить лишние пиксели и
отфильтровать еще раз.

Пример:
Зашумленность = 25%. Из 8 пикселей фильтр
исправил 3. Значит 1 исправлен ошибочно.
Восстановим его.

ATPMF – алгоритм

Ккаждому пикселю применить фильтр.
Для каждого столбца
 Выявить измененные пиксели
 Если их количество отличается от ожидаемого больше чем k
 Вычислить количество лишних пикселей N
 Восстановить N пикселей, наиболее близких к исходным
Применить фильтр ко всем пикселям кроме восстановленных


ATPMF – результат

Noisy (25%) Median(3x3) ATPMF


ATPMF – результат

Noisy (35%) Median(3x3) ATPMF


 LMMSE
 NLM
 3D filtering
 BLS-GSM
 Steering Kernel
 ATPMF
 Сложный шум
 Идея
 Выбор параметра
 Метод 1
 Метод 2
 Метод 3


Alpha-trimmed mean
- сложный шум

Тяжелый случай.

Иногда шум является смесью
гауссовского и импульсного.

.”Adaptive Alpha-trimmed Mean Filters Under Deviations from Assumed
CS MSU Graphics & Media Lab (Video Group) Noise Model[J]” IEEE Trans Image Process, 2004 59

Alpha-trimmed mean
- идея
Смесь усредняющего и медианного фильтров.
n [n ]
mn (i,  )  1
n  2[n ] x

j [ n ]1
( j) (i)

X(j)(i) – пиксели из окрестности, упорядоченные по яркости

Таким образом:
y(i,0) – усреднение,
y(I,0.5) – медиана.

Основная сложность для данного фильтра – выбор параметра.

Alpha-trimmed mean
– метод 1
Будем смотреть значения параметра по таблице.
 m' (0.50) : 0  H i ( )   1
m' (0.25) :   H ( )  


1 i 2
y (i )   m(0) :  2  H i ( )   3
 m(0.25) :  3  H i ( )   4

 m(0.50) :  4  H i ( )  


Параметры подбираются методом научного тыка.
Hi – некоторая статистика.

Недостатки подхода:
Небольшое количество возможных функций.
Метод научного тыка – плохо.


Alpha-trimmed mean
– метод 2
Воспользуемся формулой.

y (i )  m( ( n 1) ki )
2n
 x  n
2 2
ki  x 2

Недостатки подхода:
Критична точность оценки уровня шума.
Предлагаемый метод работает очень небыстро.

 n  (median{1.483 * MAD(i) : i  1,2,...M })2
Погрешность резко возрастает при больших
количествах импульсного шума.

Alpha-trimmed mean
– метод 3
n [n ]

 x 
1
Vn (i;  )  ( j ) (i )  y n (i;  )
1 2
(1 2 ) 2
{
n j [n ]1

  [ x([n ]1) (i )  yn (i;  )]2
  [ x( n [n ]) (i )  yn (i;  )]2 }

 opt[i]  arg min{Vn (i; ) : 0    0.5} Минимизация осуществляется
y (i)  m( opt[i]) перебором аргументов с
некоторым шагом.


Alpha-trimmed mean
- результаты

noisy I II III

Alpha-trimmed mean

1
noisy

3
2


Alpha-trimmed mean
Зависимость качества
фильтрации от
количества
импульсного шума.


Список литературы
1. M. Mahmoudi and G. Sapiro. ―Fast image and video denoising via non-local means of similar
neighborhoods.‖ Signal Processing Letters, IEEE, Vol. 12, No. 12, pp. 839–842, Dec. 2005

2. A. Buades, B. Coll, J.M Morel, "A review of image denoising algorithms, with a new one" , Multiscale
Modeling and Simulation (SIAM interdisciplinary journal), Vol 4 (2), pp 490-530, 2005.

3. Takeda, H. Farsiu, S. Milanfar, P, ―Image Denoising by Adaptive Kernel Regression‖, Signals,
Systems and Computers, 2005.

4. Kostadin Dabov, Alessandro Foi, Vladimir Katkovnik, and Karen Egiazarian, ―Image denoising with
block-matching and 3D filtering‖, Proc. SPIE Electronic Imaging: Algorithms and Systems V, 2006

5. Sung Cheol Park and Moon Gi Kang, "Spatially Adaptive Denoising Based on Nonstationary
Correlation Assumption", SPIE Optical Engineering, Vol. 43, No. 3, pp. 628-638, Mar. 2004

6. Xiaoyin Xu, Eric L. Miller, and Dongbin Chen, ―Adaptive Two-Pass Rank Order Filter to Remove
Impulse Noise in Highly Corrupted Images‖, IEEE Trans Image Process. Feb. 2004

7. Oten R,De Figueiredo R J P.‖Adaptive Alpha-trimmed Mean Filters Under Deviations from Assumed
Noise Model[J]‖ IEEE Trans Image Process, 2004

8. J. Portilla, V. Strela, M. Wainwright, and E. P. Simoncelli, "Image denoising using scale mixtures of
Gaussians in the wavelet domain," IEEE Trans. Image Processing, vol. 12, pp. 1338—1351, 2003.

9. J. A. Guerrero-Colon and J. Portilla, "Two-level adaptive denoising using Gaussian scale mixtures in
overcomplete oriented pyramids," in Proc. of IEEE Int’l Conf on Image Processing, Genoa, Italy, Sep
2005.


Вопросы

?!

Методы удаления пространственного шума

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (7)

Similar a Методы удаления пространственного шума

Similar a Методы удаления пространственного шума (13)

Más de MSU GML VideoGroup

Más de MSU GML VideoGroup (20)

Методы удаления пространственного шума