1. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Parte 1/3: Formazione delle immagini
A.A. 2008-2009 - Corso di Computer Vision
Eugenio Rustico
rustico@dmi.unict.it
D.M.I. - Universit` di Catania
a
Modificato: 20 marzo 2009
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
Formazione delle immagini

2. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
5-6 lezioni su
Formazione dell’immagine
Calibrazione della camera
Stereovisione e ricostruzione
Web:
http://www.dmi.unict.it/~battiato/CVision0809/CVision0809.h
http://www.dmi.unict.it/~rustico
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
Formazione delle immagini

3. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
In caso di dubbi/difficolt` (in ordine di importanza):
a
Interagire a lezione, interrompere e domandare in qualsiasi
1
momento
Consultare appunti, libri di testo, Wikipedia...
2
Ricevimento (preferibilmente mercoled`
ı)
3
Email: rustico@dmi.unict.it
4
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
Formazione delle immagini

4. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
La risoluzione di molte problematiche di Computer Vision parte
dall’analisi del processo di formazione dell’immagine di una scena.
Alcune tecniche di calibrazione e ricostruzione seguono una sorta di
reverse engineering di questo processo.
Come si forma l’immagine di una scena?
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
Formazione delle immagini

5. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
La scena
Abbiamo una fonte di luce, degli oggetti non completamente
trasparenti e una superficie sensibile ai raggi di luce (pellicola,
sensore digitale, r´tina, etc.).
e
I raggi di luce vengono rifratti dagli oggetti in modo “caotico”
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
Formazione delle immagini

6. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
La scena
Ogni punto della scena “influisce” su diversi punti del piano
immagine...
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
Formazione delle immagini

7. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
La scena
...e ogni punto del piano immagine ` colpito da raggi provenienti
e
da punti differenti
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
Formazione delle immagini

8. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
La scena
Come facciamo a fare in modo che ogni punto della scena influisca
su di un solo punto del piano immagine?
Una possibilit` ` quella di costringere tutti i raggi a passare per un
ae
foro molto piccolo...
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
Formazione delle immagini

9. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Camera pinhole
La “scatola” dove si forma l’immagine ` una camera pinhole.
e
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
Formazione delle immagini

10. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Camera pinhole
Ma la camera pinhole...
Richiede una superficie con un range di sensibilit` enorme
a
Non ` molto pratica (zoomare?)
e
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
Formazione delle immagini

11. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Le lenti sottili sono un dispositivo ottico pi` complesso e pi`
u u
flessibile per mettere a fuoco l’immagine di una scena.
Possiamo immaginarle come un sottile disco di vetro di un
materiale trasparente in cui sono definiti un asse ottico e due
fuochi, ovvero due punti particolari dell’asse ottico esterni alla
lente stessa.
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
Formazione delle immagini

12. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Deviazione della luce
Le lenti sono in grado di deviare la luce seguendo due regole:
Ogni raggio di luce che entra da un lato della lente
parallelamente all’asse ottico viene deviato verso il fuoco che
si trova dall’altro lato;
Ogni raggio di luce che entra da un lato della lente passando
per il fuoco esce dall’altro lato parallelamente all’asse ottico.
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
Formazione delle immagini

13. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Deviazione della luce
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
Formazione delle immagini

14. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Equazione fondamentale
Tramite considerazioni geometriche sulle coppie di triangoli simili
△ △ △ △
PQFl , SOFl e ROFr , TpFr , otteniamo la relazione
1 1 1
+=
ˆ ˆ
z f
Z
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
che ` immagini
e l’equazione fondamentale delle lenti sottili.
Formazione delle

15. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Equazione fondamentale
1 1 1
+=
ˆ ˆ
z f
Z
Questa relazione ha una conseguenza importante: affinch´ e
l’immagine sia a fuoco, a parit` di lunghezza focale (i.e. distanza
a
del fuoco dal centro) i punti devono trovarsi alla stessa distanza
dalla lente.
In altre parole, una lente ` in grado di mettere a fuoco solo una
e
sezione della scena parallela al piano immagine.
...ma cosa vuol dire mettere a fuoco, ad esempio, in una macchina
digitale?
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
Formazione delle immagini

16. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Modello semplice
Che il nostro sistema ottico sia un pinhole o una lente sottile,
l’immagine che si forma ` una proiezione della scena
e
tridimensionale attraverso il piano di immagine π:
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
Formazione delle immagini

17. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Modello semplice
△ △
Procediamo nuovamente per triangoli simili: pQO ` simile a PRO,
e
da cui deriviamo:
pQ : PR = OQ : OR
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
Formazione delle immagini

18. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Modello semplice
ovvero:
X
x= f
Z
Y
y= f
Z
che chiamiamo equazioni fondamentali della camera prospettica.
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
Formazione delle immagini

19. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Modello debole
Le equazioni fondamentali della camera prospettica non sono
lineari; possiamo per` renderle lineari al prezzo di una piccola
o
approssimazione.
Se i punti della scena sono abbastanza distanti dalla camera e le
differenze di coordinata Z tra punti differenti sono trascurabili,
˜
possiamo approssimare i valori delle Z con una costante Z . Le
equazioni fondamentali allora diventano:
X
x= f
˜
Z
Y
y= f
˜
Z
Indicativamente, tale approssimazione ` fattibile quando le
e
differenze δZ tra i punti della scena sono inferiori ad 1/20 della
distanza media da O.
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
Formazione delle immagini

20. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Parametri estrinseci
Le coordinate dei punti, finora, le abbiamo considerate nel sistema
di riferimento della camera stessa. Il pi` delle volte, per`, i punti
u o
vengono forniti nel sistema di riferimento del mondo, la cui
relazione col sistema della camera ` spesso sconosciuta.
e
Per passare da un sistema di riferimento ad un altro ci serve una
rototraslazione nello spazio. Possiamo identificarla con due vettori:
T racchiude gli offset di traslazione (3 valori), R la rotazione (3
gradi di libert`):
a
Pc = R(Pw − T )
I sei parametri che definiscono questa trasformazione, specifica per
ogni camera, sono i parametri estrinseci della camera.
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
Formazione delle immagini

21. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Parametri intrinseci
Servono altri parametri, oltre ai sei estrinseci, per definire
completamente la proiezione cui ogni punto ` sottoposto:
e
Conosciamo gi` la lunghezza focale f , che nelle camere reali `
a e
correlata allo zoom ottico
Il piano immagine ha un sistema di riferimento proprio, di
solito in pixel. Ci serve conoscere l’origine del sistema: gli
offset ox e oy rappresentano le coordinate in pixel del centro
ottico
L’unit` di misura del mondo 3D ` la stessa del piano
a e
immagine? Definiamo sx ed sy come le dimensioni orizzontale
e verticale di un pixel del sensore (a volte baster` il loro
a
rapporto α = sx /sy )
Le lenti reali introducono nell’immagine una distorsione
radiale, parametrizzabile con due parametri k1 e k2
I sette parametri f , ox , oy , sx , sy , k1 e k2 sono detti intrinseci ea di Catania
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit`
Formazione delle immagini

22. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Parametri intrinseci
ox , oy , sx ed sy ci permettono di descrivere direttamente la
relazione il sistema di riferimento della camera e quello del piano di
immagine. Se indichiamo con (xim , yim ) le coordinate in pixel del
punto (x, y ), la relazione `:
e
x = −(xim − ox )sx
y = −(yim − oy )sy
La relazione ` un po’ pi` complessa per la distione radiale,
e u
modellata da k1 e k2 . Se (xd , yd ) sono le coordinate distorte del
punto (x, y ), possiamo scrivere:
x = xd (1 + k1 r 2 + k2 r 4 )
y = yd (1 + k1 r 2 + k2 r 4 )
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
2 2 2
Formazione delle immagini

23. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Adesso, con i parametri estrinseci della camera, siamo in grado di
tradurre il sistema di riferimento del mondo in quello della camera.
Per proiettare un punto della scena Pw sul piano immagine di una
camera arbitrariamente orientata e calibrata non dovremo far altro
che:
Tradurre le coordinate di Pw nel sistema di riferimento della
1
camera
(Pc = R(Pw − T ))
Proiettare Pc con le equazioni fondamentali della camera
2
prospettica
Tradurre le coordinate del punto proiettato in pixel tramite i
3
parametri intriseci
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
Formazione delle immagini

24. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Versione lineare
X
x= f
Z
Y
y= f
Z
X
−(xim − ox )sx = f
Z
Y
−(yim − oy )sy = f
Z
R1 (Pw − T )T
−(xim − ox )sx = f
R3 (Pw − T )T
R2 (Pw − T )T
−(yim − oy )sy = f
R3 (Pw − T )T
Versione lineare delle equazioni fondamentali di proiezione
prospettica
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
Formazione delle immagini

25. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
Versione matriciale
Vediamo di scrivere le equazioni lineari con una notazione pi`
u
compatta:
r11 r12 r13 −R1 T T
   
−f /sx 0 ox
−f /sy oy  Mext =  r21 r22 r23 −R2 T T 
Mint =  0
r31 r32 r33 −R3 T T
0 0 1


Xw
 
x1
 x2  = Mint Mext  Yw 
 
 Zw 
x3
1
Versione matriciale delle equazioni fondamentali di proiezione
prospettica
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
Formazione delle immagini

26. Introduzione La camera pinhole Lenti sottili La camera prospettica Modello generale Altri modelli
A volte si compattano Mint ed Mext in una sola matrice
M = Mint Mext .
Con alcune assunzioni, M assume una forma non troppo
complessa. Ad esempio, se poniamo ox = oy = 0 e sx = sy = 0
(ovvero, “fingiamo” sia la camera che il mondo abbiano la stessa
unit` di misura) la matrice unica M diventa:
a
−fr11 −fr12 −fr13 fR1 T T
 
M =  −fr21 −fr22 −fr23 fR2 T T 
−R3 T T
r31 r32 r33
In assenza di ulteriori vincoli, M ` chiamata genericamente matrice
e
di proiezione.
Eugenio Rustico rustico@dmi.unict.it IPlab - Universit` di Catania
a
Formazione delle immagini