VXC: Computer Vision Presentation

Introducción
Modelización geométrica
La restricción epipolar y la matriz esencial
El algoritmo de los ocho puntos
Bibliografía

Fundamentos Matemáticos de la Visión por
Computador

Gema R. Quintana Portilla

Trabajo dirigido en “Estadística y Computación”
Julio de 2007

Gema R. Quintana Portilla Fundamentos Matemáticos de la Visión por Computador

Introducción
Bibliografía

Índice

1 Introducción

2 Modelización geométrica
Modelo geométrico del proceso de formación de la
imagen.

3 La restricción epipolar y la matriz esencial
Propiedades de la matriz esencial.

4 El algoritmo lineal de los ocho puntos


Introducción
Bibliografía

Visión por Computador

Estudia la interpretación de escenas a partir de proyecciones
2D mediante sensores sin contacto conectados a un sistema
informático.


Introducción
Bibliografía

Campos relacionados

Gráficos por ordenador:
Proceso inverso.
Cada vez más relacionados.
Reconocimiento de patrones (RP):
Clasificación de datos numéricos y simbólicos.
Partes de RP en procesos de visión.
Interpretación de escenas.
Inteligencia artificial:
Percepción, conocimiento/razonamiento y acción.
Parte del proceso de percepción.
Psicofísica:
Relación con la visión humana.


Introducción
Bibliografía

Aplicaciones

Agricultura:
Guiado de vehículos.
Automatización de tareas.
Regulación de vehículos y tráﬁco:
Vehículos autónomos.
Estudio de trayectorias.
Prevención de accidentes.
Inspección visual en industria:
Azulejos.
Agroalimentaria.
Electrónica.


Introducción
Bibliografía

Aplicaciones

Ciencias biomédicas:
Contenido y reconocimiento de polen en aire para análisis
de contaminación.
Ayuda a enfermos: ratón facial, etc.
Reconstrucción/Modelos 3D:
Visión estéreo.
Secuencias de imágenes.
Seguridad y control de personas:
Reconocimiento de caras.
Recuento de personas.
Seguimiento e identiﬁcación de comportamientos.
Reconocimiento de caracteres.


Introducción
Bibliografía

Visión Humana vs Visión Artiﬁcial

Ojo:
Proyección sobre la retina.
Fotorreceptores: conos y bastones.
Transmisión a través del nervio óptico.
Cámara:
Proyección sobre el sensor (CCD, . . . ).
Elementos fotosensibles: fotodiodos.
Transmisión a través de señal de vídeo.


Introducción
Bibliografía

Visión Humana vs Visión Artiﬁcial

Visión humana:
Mejor reconocimiento de objetos.
Mejor adaptación a situaciones imprevistas.
Mejor en tareas de alto nivel de procesado de la imagen.
Visión por Computador:
Mejor midiendo magnitudes físicas.
Mejor para la realización de tareas rutinarias.
Mejor en tareas de bajo nivel de procesado de la imagen.


Introducción
Bibliografía

Objetivo.


Introducción
La restricción epipolar y la matriz esencial Modelo geométrico.
Bibliografía

Índice

1 Introducción

imagen.




Introducción
Bibliografía

Representaciones de una imagen.

Definición
Una imagen es una función I, definida en una región
compacta Ω de una superficie, tomando valores en R+ . Es
decir, es un array dos-dimensional de brillo.

I : Ω ⊆ R2 → R+
(x, y) → I(x, y)


Introducción
Bibliografía

Representaciones de una imagen.


Introducción
Bibliografía

Lente delgada.

Ecuación fundamental de la
lente delgada:
1 1 1
+ =
Z z f


Introducción
Bibliografía

Cámara pinhole.


Introducción
Bibliografía

Cámara pinhole.

La imagen del punto X viene dada por

X Y
x=f , y=f
Z Z


Introducción
Bibliografía

Objetivo.

Necesitamos un modelo matemático que tenga en cuenta tres
tipos de transformaciones:
1 transformaciones coordenadas entre el sistema de
referencia de la cámara (C) y el del mundo (W);
2 paso de coordenadas 3-D a coordenadas 2-D;
3 transformación coordenada entre las posibles elecciones
del sistema de referencia de la imagen.


Introducción
Bibliografía

Objetivo.

Necesitamos un modelo matemático que tenga en cuenta tres
tipos de transformaciones:
1 transformaciones coordenadas entre el sistema de
referencia de la cámara (C) y el del mundo (W);
2 paso de coordenadas 3-D a coordenadas 2-D;
3 transformación coordenada entre las posibles elecciones
del sistema de referencia de la imagen.
Describiremos el proceso de formación de la imagen como una
serie de transformaciones coordenadas.


Introducción
Bibliografía

Cámara pinhole.

Consideremos un punto p con coordenadas
X0 = [X0 , Y0 , Z0 ]T ∈ R3 relativas a W.
Sus coordenadas X = [X, Y, Z]T con respecto a C vienen
dadas por una transformación lineal g = (R, T ) ∈ SE(3) de
X0 :
X = RX0 + T ∈ R3
X se proyecta en el plano imagen en el punto

x f X
x= =
y Z Y


Introducción
Bibliografía

Cámara pinhole.
Homogeneizando.

Homogeneizando coordenadas,
 
  X 
x f 0 0 0 
Y 
Z  y  =  0 f 0 0  
 Z 
1 0 0 1 0
1

Representaremos la coordenada Z de p con λ ∈ R+


Introducción
Bibliografía

Cámara pinhole.
Homogeneizando.

La matriz anterior la podemos expresar como producto de dos
matrices:
    
f 0 0 0 f 0 0 1 0 0 0
 0 f 0 0  =  0 f 0  0 1 0 0 
0 0 1 0 0 0 1 0 0 1 0

Las llamaremos:
   
f 0 0 1 0 0 0
Kf :=  0 f 0  ∈ R3×3 Π0 :=  0 1 0 0  ∈ R3×4
0 0 1 0 0 1 0


Introducción
Bibliografía

Cámara pinhole.
Homogeneizando.

Resumiendo todo, una cámara pinhole se modeliza
 
     X0
x f 0 0 1 0 0 0
R T  Y0 
λ y  =  0 f 0  0 1 0 0   
0 1  Z0 
1 0 0 1 0 0 1 0
1

Nota
Los parámetros anteriores son conocidos como parámetros
extrínsecos de la cámara.


Introducción
Bibliografía

Parámetros intrínsecos de una cámara.


Introducción
Bibliografía

Combinando el modelo de proyección con el escalado y la
traslación
 
      X
x sx sθ ox f 0 0 1 0 0 0 
Y 
λ  y  =  0 s y oy   0 f 0   0 1 0 0   
 Z 
1 0 0 1 0 0 1 0 0 1 0
1

Dicho de otro modo
 
   X
f sx f sθ ox 1 0 0 0 
Y 
λx = KΠ0 X =  0 f sy oy   0 1 0 0   
 Z 
0 0 1 0 0 1 0
1


Introducción
Bibliografía

De coordenadas 3-D a píxeles.


Introducción
Bibliografía


Deﬁnición
La matriz K se denomina matriz de calibración.
Si conocemos K, las cordenadas calibradas x se obtienen a
partir de las coordenadas en píxeles x invirtiendo la matriz K:
 
  X
1 0 0 0 
Y 
λx = λK −1 x = Π0 X =  0 1 0 0    Z 

0 0 1 0
1


Introducción
Bibliografía

Modelo del proceso de formación de la imagen.

 
   X0
f sx f sθ ox 1 0 0 0
R T  Y0 
λx = KΠ0 X =  0 f sy oy   0 1 0 0   
0 1  Z0 
0 0 1 0 0 1 0
1


Introducción
Bibliografía


 
   X0
f sx f sθ ox 1 0 0 0
R T  Y0 
λx = KΠ0 X =  0 f sy oy   0 1 0 0   
0 1  Z0 
0 0 1 0 0 1 0
1

¿Y si hay distorsión?


Introducción
Bibliografía


¿Y si hay distorsión?

Habría que corregirla.
Supondremos la distorsión corregida y las vistas
calibradas.


Introducción
La restricción epipolar y la matriz esencial Propiedades de la matriz esencial.
Bibliografía

Índice

1 Introducción

imagen.




Introducción
Bibliografía

Hipótesis.

Disponemos de dos imágenes de la misma escena
tomadas desde dos puntos de vista distintos;
suponemos las vistas calibradas (la matriz de calibración
K es la identidad):

λx = Π0 X, donde Π0 = [I, 0];

la escena es estática;
conocemos las correspondencias entre los puntos.


Introducción
Bibliografía

Restricción epipolar.


Introducción
Bibliografía

Restricción epipolar.

Teorema (Restricción epipolar)

Sean x1 , x2 los dos proyectados del mismo punto p obtenidos a
partir de dos posiciones de la cámara relacionadas por la
transformación g = (R, T ), donde R ∈ SO(3) y T ∈ R3 .
Entonces,

x2 , T × Rx1 = 0, es decir, xT T Rx1 = 0
2

Deﬁnición
Se llama matriz esencial y se denota E la matriz

E := T R


Introducción
Bibliografía

Deﬁniciones.

Deﬁnición
Se denomina espacio esencial el conjunto de las matrices
esenciales: E := {T R|R ∈ SO(3), T ∈ R3 }

Teorema (Descomposición en valores singulares (SVD).)
Sea A ∈ Rm×n con rango p. Supongamos m ≥ n. Entonces,
∃U ∈ Rm×p con columnas ortonormales,
∃V ∈ Rn×p con columnas ortonormales,
∃Σ ∈ Rp×p , Σ = diag{σ1 , σ2 , . . . , σp } matriz diagonal con
σ1 ≥ σ2 ≥ . . . ≥ σp ,
tales que A = U ΣV T .


Introducción
Bibliografía

Caracterización de matriz esencial.

Teorema (Caracterización de matriz esencial)
Una matriz no nula E ∈ R3×3 es una matriz esencial si y sólo si
E tiene una descomposición en valores singulares E = U ΣT
con
Σ = diag{σ, σ, 0}
para σ ∈ R+ y U, V ∈ SO(3).


Introducción
Bibliografía

Cálculo de la posición a partir de E.

Teorema (Cálculo de la posición a partir de la matriz esencial)

Existen exactamente dos posiciones relativas (R, T ) con
R ∈ SO(3) y T ∈ R3 correspondientes a una matriz esencial no
nula E ∈ E.
Si E = U ΣV es la factorización SVD de E, con U, V ∈ SO(3),
las soluciones vienen dadas por

(T1 , R1 ) = (U RZ (+ π )ΣU T , U RZ (+ π )V T );
2
T
2
(T2 , R2 ) = (U RZ (− π )ΣU T , U RZ (− π )V T )
2
T
2


Introducción
Bibliografía

Problema.

Sabemos: los puntos en correspondencia veriﬁcan la
restricción epipolar.
Objetivo: determinar la posición relativa de las cámaras,
dadas dos imágenes de una misma escena.


Introducción
Bibliografía

Solución.

Calcular E a partir de suﬁcientes correspondencias entre
puntos.
Obtener R y T a partir de E.


Introducción
Bibliografía

Solución.

puntos.
¿Hemos acabado?


Introducción
Bibliografía

Solución.

puntos.
¿Hemos acabado? No:
La matriz así obtenida puede no ser una matriz esencial.
Necesitamos tomar la matriz de E más próxima a ella.


Introducción
Bibliografía

Justificación teórica.

Definición
Sean x1 = [x1 , y1 , z1 ]T y x2 = [x2 , y2 , z2 ]T vectores en R3 . Se
define el producto de Kronecker como

x1 ⊗x2 = [x1 x2 , x1 y2 , x1 z2 , y1 x2 , y1 y2 , y1 z2 , z1 x2 , z1 y2 , z1 z2 ]T ∈ R9

Notación a := x1 ⊗ x2 .

Podemos reescribir xT Ex1 = 0 como aT E S = 0
2


Introducción
Bibliografía


Definición
Dado un conjunto de pares de puntos de la imagen en
correspondencia (xj , xj ), j = 1, 2, . . . n, se define la matriz
1 2
X ∈ Rn×9 asociada X := [a1 , a2 , . . . , an ]T , donde la j-ésima fila
aj es el producto de Kronecker del par (xj , xj ).
1 2

Si los datos no presentan ruido X E S = 0. A partir de esto
obtenemos E S .
E es una matriz homogénea: necesitamos ocho pares de
puntos en correspondencia.


Introducción
Bibliografía


¿Lo anterior es suﬁciente?


Introducción
Bibliografía


¿Lo anterior es suﬁciente? No:
El rango de X es menor que ocho: hay menos de ocho
puntos en posición general.
E S tiene que satisfacer que su forma matricial E sea una
matriz esencial. Solución:
Calcular el núcleo de X obteniendo F que probablemente
no pertenezca a E.
Proyectarla sobre la variedad de las matrices esenciales.


Introducción
Bibliografía

Proyección sobre E

Teorema (Proyección sobre E)

Dada una matriz real F ∈ R3×3 con SVD
F = U diag{λ1 , λ2 , λ3 }V T , cumpliendo
U, V ∈ SO(3), λ1 ≥ λ2 ≥ λ3 , se tiene que la
matriz esencial E ∈ E que minimiza el error
E − F 2 viene dada por
f
E = U diag{σ, σ, 0}V T con σ = λ1 +λ2 .
2


Introducción
Bibliografía

Posibles soluciones.


Introducción
Bibliografía

El algoritmo lineal de los ocho puntos. I

Dado un cojunto de correspondencias entre las dos imágenes
(xi , xj ), j = 1, 2, . . . , n (n ≥ 8), el algoritmo devuelve
(R, T ) ∈ SE(3), tales que

xjT T Rxj = 0,
2 1 j = 1, 2, . . . , n.


Introducción
Bibliografía

El algoritmo lineal de los ocho puntos. II

1 Cálculo de una aproximación de la matriz esencial.
Construir X = [a1 , a2 , . . . , an ]T ∈ Rn×9 a partir de las
correspondencias xj y xj como se hizo en el teorema 4.1:
1 2

aj = xj ⊗ xj ∈ R9 .
1 2

Encontrar el vector E S ∈ R9 de norma 1 tal que X E S se
minimimice como sigue: calcular la SVD de X = UX ΣX VX T

y deﬁnir E S la novena columna de V . Calcular la matriz
X
asociada a E S , E. (Esta matriz, en general, no
pertenecerá a E.)


Introducción
Bibliografía

El algoritmo lineal de los ocho puntos. III

2 Proyección sobre E.
Descomponer la matriz E, calculada a partir de los datos,
en valores singulares

E = U diag{σ1 , σ2 , σ3 }V T ,

donde σ1 ≥ σ2 ≥ σ3 ≥ 0 y U, V ∈ SO(3). En general, como
E puede no ser una matriz esencial, σ1 = σ2 y σ3 = 0.
Pero su proyección sobre E (normalizada) es de la forma
U ΣV T , con Σ = diag{1, 1, 0}.


Introducción
Bibliografía

El algoritmo lineal de los ocho puntos. IV

3 Recuperación de la posición relativa.
A partir de la SVD de la proyección, calculamos R y T
como sigue:
π π
R = U RZ (± )V T ;
T
T = U RZ (± )ΣU T ,
2 2
 
0 ±1 0
donde RZ (± π ) =  1 0
T
2 0 .
0 0 1


Introducción
Bibliografía

Bibliografía I

Luis Baumela.
Curso de doctorado: “Visión por Computador”.
Universidad Politécnica de Madrid, 2004.
Departamento de Electrónica de la Universidad de Alcalá.
Curso de doctorado: “Procesamiento digital de imágenes.
Aplicaciones en robótica”.
Curso 2005-2006.
R. I. Hartley, A. Zisserman
Multiple View Geometry in Computer Vision.
Cambrdige University Press, 2004.


Introducción
Bibliografía

Bibliografía II

Y. Ma, S. Soatto, J. Kosecká, S. Shankar Sastry.
An Invitation to 3-D Vision.
Springer-Verlag N. Y., 2004.
Domingo Mery.
Asignatura: “Visión por Computador”.
Universidad Católica de Chile, 2004.
J. M. Sanchiz, F. Pla.
Curso de doctorado: Fundamentos de Visión por
Computador
Universitat Jaume I, 2006.


Introducción
Bibliografía

Bibliografía III

Alberto Ruiz.
Apuntes de sistemas de percepción y Visión por
Computador
Universidad de Murcia 2004.
B.N. Shapukov.
Grupos y álgebras de Lie en ejercicios y problemas
URSS, Moscú, 2001. .


VXC: Computer Vision Presentation

Recomendados

Recomendados

Más contenido relacionado

Destacado

Destacado (17)

Más de Gema R. Quintana

Más de Gema R. Quintana (19)

Último

Último (20)

VXC: Computer Vision Presentation