1. Università degli Studi di Udine
Corso di Laurea Specialistica in Linguaggi e Tecnologie dei Nuovi Media
________________________________________________________________________________
Progetto per l’esame di
Elaborazione di immagini e video
Dott. Gian Luca Foresti
Dott.ssa Ingrid Visentini
Progetto di videosorveglianza all’interno del centro polifunzionale di Pordenone
________________________________________________________________________________
Bortoli Marco matricola 87314
Canderan Alessandra matricola 89514

2. INDICE
1. La zona da sorvegliare
2. Funzionalità richieste
3. Inventario pre filmico, materiale pro filmico, illuminazione e nota sulle aperture
4. Requisiti funzionali del sistema
4.1 Posizionamento telecamere, gerarchia del sistema
4.2 Caratteristiche delle telecamere
5. Background updating
6. Schema logico del sistema
7. Analisi casi normali e anomali
8. Fase di elaborazione
9. Calibrazione
10. Proposte su filtri

3. 1. LA ZONA DA SORVEGLIARE
L'area che abbiamo monitorato è la hall dell’edificio B che comprende (sulla pianta in senso orario
dall'origine) le seguenti zone di interesse:
• Il vano dell’entrata principale (per entrata principale intendiamo l'accesso dal parcheggio
incustodito a sud dell'edificio);
• La zona antistante lo schermo degli orari;
• Il passaggio verso le scale e i corridoi che conducono alle aule dell'edificio B;
• L'uscita di collegamento con l’edificio S;
• L’entrata della segreteria;
• L'uscita di emergenza.
In questo interno transitano centinaia di persone ogni giorno. Alcune sono dirette alle aule per
attività di didattica, altre negli uffici della segreteria, altre ancora sono addette alla pulizia e alla
manutenzione.
Fig. 1: pianta della hall con le zone di interesse.

4. 2. FUNZIONALITÀ RICHIESTE
Le funzionalità secondo cui è progettato il nostro sistema di videosorveglianza sono le seguenti:
• Di giorno rilevamento di eventi anomali in scena;
• Di notte rilevamento intrusioni;
• (eventuale) inseguimento di persone per attivare altri sistemi correlati (ad esempio se i
soggetti entrano in segreteria vengono allertate le videocamere da quella parte).
3. INVENTARIO PREFILMICO, MATERIALE PROFILMICO, ILLUMINAZIONE
E NOTA SULLE APERTURE.
Nella cartina non è inserito il mobilio che, precisiamo, non occlude le viste delle telecamere per
come sono state posizionate. A titolo puramente informativo esplicitiamo che si tratta di sedie,
porta-ombrelli, e tavoli che per il loro peso sarebbero scomodi strumenti per manomettere le
telecamere (ad eccezione forse del cestino inquadrato dalla vista rossa). Inoltre presso una delle
due colonne dell'ingresso alla segreteria è installato un estintore, mentre vicino all'altra sono
presenti una grossa pianta da vaso e un cestino nero.
Il soffitto ha altezze variabili: da poco più di 2 metri del vano entrata principale, fino a circa 8 metri
della zona centrale su cui si affacciano i corridoi dei piani superiori.
Le pareti sono tutte di colore bianco, gli infissi sono grigi, il pavimento grigio e opaco, le sedie
marroni. I tavolini che reggono i treppiedi delle videocamere sono sul luogo solo nel giorno in cui
effettuiamo le riprese.
Tutte le porte con apertura antipanico si aprono verso l'esterno.
Le fonti di luce artificiale a parete sono situate ad un altezza di 2,20 m. mentre le plafoniere sul
soffitto nella zona centrale sono installate a circa 2,50m.
La luce naturale entra da sud-est: il vano entrata principale, l'uscita di sicurezza e i finestroni in
alto.
La parete orientata a nord su cui si apre l'uscita di collegamento con l’edificio S è una vetrata
molto alta che occupa per intero l'orizzonte dell'interno sorvegliato dalla vista blu.

5. 4. REQUISITI FUNZIONALI DEL SISTEMA
4.1 POSIZIONAMENTO TELECAMERE, GERARCHIA DEL SISTEMA
Abbiamo stabilito che le telecamere siano 3, disposte come in figura:
Fig. 2: mappa hall con disposizione delle telecamere.
Fig. 3 – 4 – 5 esempio di vista rossa, vista verde e vista blu.
Il sistema è di tipo gerarchico ed è composto da due telecamere che registrano sempre (blu e
verde) fornendo un’inquadratura generale della zona, e una telecamera (rossa) che si attiva
solamente nel caso in cui:
• Qualcuno compia atti vandalici contro lo schermo: per darci un primo piano della
persona che sta facendo il danno;
• Qualcuno valichi la linea segreteria (come ad esempio la sequenza “Oggetto
abbandonato 2”) confermando l'ingresso in un’area non di nostra competenza.

6. Le telecamere sono posizionate in alto (verde 2.38 m, blu 2.30 m, rossa 1.73 m) in quanto questa
posizione:
• Permette di coprire un'area più grande;
• Fa sì che le videocamere siano fuori dalla portata di "teppisti";
• Fa in modo che siano meno probabili le occlusioni.
Il sistema visualizza in parallelo le tre viste in questo modo:
viste verde 16:9 e blu 4:3
vista rossa 16:9
Fig. 6: visualizzazione delle tre viste dai monitor della sala di controllo.
Abbiamo scartato l'idea di posizionare le videocamere sul soffitto del corridoio al terzo piano
perché rendevano meno evidente la proporzione e la posizione dei blob che a noi interessava
avere molto chiare. Una visione quasi perpendicolare:
• Schiacciava troppo le figure (vedi persone sedute Fig. 7);
• Era colpita dal sole diretto entrante dalle grandi vetrate;
• Era infastidita dall'illuminazione artificiale (Fig. 8);

7. Fig. 7 e 8: esempi di problemi dovuti al posizionamento delle telecamere troppo in alto.
4.2 CARATTERISTICHE DELLE TELECAMERE
Abbiamo scelto delle telecamere a colori (danno più informazioni rispetto a una telecamera b/n)
che di notte “switchano” diventando ad infrarossi.
Le telecamere sono fisse, la loro visuale copre tutta l’area, non è necessario che seguano i
soggetti. Eventualmente potremmo prevedere la funzione di remote controll (pan e tilt) e di zoom
nei casi in cui fosse necessario.
Le telecamere acquisiscono direttamente in digitale per comodità (non c’è bisogno di schede di
conversione, il segnale si processa direttamente).
Il formato di acquisizione è l’ Mini DV m-jpeg (essendo ogni fotogramma un key-frame
indipendente rende il girato più facile da elaborare).
I filmati esportati singolarmente sono in formato .m4v. Nella vista blu sono visualizzate le barre
laterali dovute al formato 4:3. I filmati delle tre viste sincronizzate sono in formato avi e mov.
La trasmissione dei dati dalle telecamere al centro di controllo avviene attraverso una rete
wireless dedicata (come quelle comunemente usate che trasmettono i dati a 54 Mbit/sec). Il
wireless ci permette di evitare di tirare cavi e riducendo le spese e le possibilità di danneggiare il
sistema.
Le telecamere che abbiamo scelto utilizzano l’acquisizione progressiva. Rispetto all’interlacciato
evitano l’effetto veneziana che potrebbe rendere difficile l’elaborazione ma hanno bisogno di più
banda. Tuttavia il sistema è costituito di poche telecamere (2 trasmettono sempre, una si attiva
solamente se necessario) per cui questo non rappresenta un problema nel nostro caso.
Le registrazioni vengono memorizzate e poi cancellate dopo 24 ore (anche per motivi di privacy
oltre che di spazio).
Le telecamere sono dotate di Automatic Gain Control che regola automaticamente il guadagno in
base alla luminosità della scena. Abbiamo aggiunto questa funzione perché la zona ha delle ampie
finestre ed è quindi soggetta a grandi variazioni di luminosità.

8. 5. BACKGROUND UPDATING
Come abbiamo detto le condizioni di luce nella scena variano molto a seconda del momento della
giornata in cui ci troviamo o delle condizioni atmosferiche. Nelle figure 9, 10 e 11 vediamo bene
come la luce entrando dalle finestre proietti ombre a terra che si spostano progressivamente.
(Fenomeno sensibile nelle nostre riprese di circa un'ora.)
Fig. 9 – 10 – 11: esempio luminosità in una giornata soleggiata.
È quindi opportuno che il nostro sistema applichi un background updating alle immagini per
ovviare a questi problemi di cambiamento di illuminazione dello scenario. Lo schema seguente
illustra come questa funzione si inserisce nel procedimento di change detection:
La change detection funziona semplicemente confrontando le differenze tra il frame corrente e
modello dello sfondo (cioè la scena vuota). Per evitare errori in questa identificazione dei blob
sulla scena è opportuno che lo sfondo sia periodicamente aggiornato: come nel nostro caso, è
necessario che il sistema “capisca” che le ombre e le luci fanno parte del background e non
devono essere considerate nell’elaborazione delle immagini.

9. 6. SCHEMA LOGICO DEL SISTEMA
Vediamo brevemente come funziona il nostro sistema:
- Le telecamere acquisiscono le immagini che, confrontate con lo sfondo aggiornato,
identificano la comparsa sulla scena di oggetti in movimento (change detection);
- Il sistema rileva la posizione del blob utilizzando la mappa e la matrice di calibrazione;
- Nella fase di data fusion si confrontano le traiettorie estratte (è inevitabile una piccola
discrepanza tra le diverse telecamere) e si traccia la traiettoria “risultante”;
- Il comportamento dell’oggetto viene confrontato con i prerequisiti su cui è impostato il
sistema: quello che vediamo è una situazione anomala?
- In caso di situazione anomala il sistema si allerta;
- Se la situazione anomala riguarda la zona dello schermo viene accesa la telecamera rossa.

10. 7. ANALISI CASI NORMALI E ANOMALI
Abbiamo distinto le seguenti situazioni comuni per cui il sistema non deve lanciare nessun tipo di
allarme:
• ScenaNormale.avi : alcune persone transitano nella hall;
• Valigia.avi : una persona attraversa la hall trascinando una valigia.
Per quanto riguarda invece le situazioni anomale che possono verificarsi e che dovrebbero essere
segnalate dal nostro sistema, abbiamo individuato:
• Bomba1.avi: una persona abbandona un oggetto sotto le sedie.
• Bomba2.avi : una persona abbandona un oggetto nei pressi della segreteria.
• Bomba3.avi : una persona abbandona un oggetto al centro della hall.
• Rissa.avi: due persone si picchiano.
• Svenimento.avi : una persona cade a terra.
• Vandalo.avi : una persona compie atti vandalici contro lo schermo.
Ci sono delle situazioni intermedie che andrebbero valutate:
• Blob Coppia.mov : due studenti entrano vicini e poi proseguono in direzioni diverse.
• (nel video in coda al precedente) Blob che cambia forma.mov : una persona si ferma ad
allacciarsi le scarpe. L'orientamento dell'asse maggiore varia. Anche se il blob cambia forma
il sistema non deve dare l’allerta. La discriminante sarà il tempo.
Passiamo ad una descrizione dettagliata dei singoli casi con l’analisi dei passi compiuti dal sistema
per riconoscere l’eventuale anomalia.
PERSONA CON BAGAGLIO AL TRAINO
Una situazione ricorrente il passaggio di persone bagagli che il sistema non deve rilevare come
situazione anomala. Il sistema potrebbe discriminare questa situazione in base al tempo di
permanenza dell’oggetto nella hall oppure in base alla dimensione dell’oggetto stesso.

11. OGGETTO ABBANDONATO: BOMBA sotto sedile
Il soggetto entra con una borsa in spalla dall'entrata principale visibile dalla vista verde e la
abbandona in disparte sotto le sedie nei pressi della segreteria. Esce dalla stessa porta da cui è
entrato. La borsa rimane visibile dalla vista verde. Nella vista blu l’oggetto è occluso dalla sedia.
Prevediamo che, dopo qualche secondo, se l’oggetto non viene recuperato, parta una verifica del
bagaglio abbandonato.
Brevemente i passi logici che il nostro sistema compie sono i seguenti:
• Change detection ed estrazione del blob 1;
• Tracking del blob 1 ed estrazione delle sue coordinate x e y;
• Nelle stesse coordinate x e y del blob 1 appare un blob 2: questo significa che la persona ha
abbandonato qualcosa e si è allontanata.
Sarebbe altresì interessante avere i mezzi per riconoscere se una persona diversa dalla prima
passando prelevi il bagaglio.
OGGETTO ABBANDONATO: BOMBA 2
Il soggetto entra nella scena. La hall è deserta e si sfila vistosamente la borsa dalla spalla.
Disturbato da passaggio di persone si accosta alla segreteria e se ne allontana correndo senza
bagaglio. Né la vista verde né quella blu vedono il bagaglio abbandonato.
Sarebbe quindi interessante avere la telecamera rossa accesa dato che il bagaglio è ancora nella
hall parzialmente nascosto.
Sarebbe anche utile poter effettuare uno zoom in remoto con la telecamera rossa sulla borsa.
Fig. 12: esempio di zoom dalla vista rossa.

12. OGGETTO ABBANDONATO: BOMBA 3
Il soggetto agisce indisturbato, lascia il bagaglio al centro della stanza visto sia dalla telecamera
verde che da quella blu. Si allontana poi con una velocità elevata (e quindi per il nostro sistema
sospetta).
RISSA
I soggetti proveniente da direzioni diverse entrano in conflitto: i loro blob hanno movimenti rapidi
e collidono più volte. Il sistema calcola la quantità di movimento nel fotogramma e rileva una
situazione di allarme.
SVENIMENTI 1 e 2
Svenimento 1 è più simile ad una caduta: il blob cambia forma e passa da verticale ad orizzontale,
ma dopo meno di 8 secondi si rialza in piedi.
Svenimento 2 è contrassegnato da un cambiamento permanente della forma del blob.
Il sistema riconosce l’anomalia dal cambiamento di forma del blob e dopo il tempo prestabilito, se
il blob non torna alla sua forma normale dà l'allarme.
VANDALO
La vista verde registra un movimento rapido nei pressi dello schermo degli orari e allerta il sistema
che accende la vista della telecamera rossa. Quest’ultima registra un primo piano della persona
che sta compiendo il danno per l’eventuale riconoscimento.
Fig. 13 – 14 – 15 – 16 : sequenza di immagini tratta dalla scena del vandalo. La vista rossa ci permette di identificare
chiaramente il volto della persona che sta compiendo il danno.

13. SDOPPIAMENTO BLOB: COPPIA
I soggetti entrano abbracciati, si fermano davanti allo schermo orari e dopo pochi secondi si
separano in direzioni diverse. Entrambi sono in movimento.
Qui il problema potrebbe sorgere dal fatto che il sistema unisce in un unico blob le due persone
vicine e di fronte a uno “sdoppiamento” non capisce cosa sta succedendo in scena. Per far sì che
ciò non succeda ipotizziamo di lavorare sulle dimensioni del blob:
• ipotizziamo che un bagaglio sia più piccolo di un uomo (per non confonderli nel caso uno
dei due soggetti abbracciati rimanga fermo per qualche secondo). Dall'alto magari non
capisce, ecco purché abbiamo preferito non posizionare videocamere ai piani più alti che
sarebbero risultate quasi alla verticale.
• il perimetro dei due oggetti in movimento raddoppia, l'area rimane pressoché invariata.
BLOB CHE CAMBIA FORMA E LA RIPRENDE.
In questa sequenza abbiamo ripreso un soggetto che si abbassa per allacciarsi una scarpa. Il blob
muta: da rettangolo alto con base stretta passa a una forma quadrata per poi riprendere la forma
iniziale e spostarsi. A differenza dello svenimento il soggetto si ferma in posizione anomala per un
tempo limitato e non allerta il sistema.
8. FASE DI ELABORAZIONE
Prima di processare le immagini provenienti dalle telecamere, potrebbe essere utile inserire un
filtro di rimozione del rumore (ad esempio uno smooth gaussiano) che rimuova le fluttuazioni nei
valori dei pixel sempre presenti in ogni tipo di ripresa. Rimuovere il rumore garantisce un risultato
migliore nelle fasi di successive.
9. CALIBRAZIONE
La prima cosa da fare per procedere con la calibrazione delle telecamere è preparare la mappa,
selezionando solamente le zone di nostro interesse (come in figura 17).
L’origine della mappa viene posizionata top - left.
La posizione delle telecamere a partire dall’origine sono quindi:
Telecamera verde:
x = 23.10 m y = 0.75 m z = 2.38 m
Telecamera blu:
x=7m y = 10.3 m z = 2.30 m

14. Telecamera rossa:
y = 0.6 m x = 10.41 m z = 1.73 m
Fig. 17: mappa con in evidenza la zona tagliata, l’origine e la posizione delle telecamere.
A questo punto prendiamo un fotogramma e creiamo (con il programma CalibTool) una
corrispondenza tra alcuni punti notevoli della scena (noi ne abbiamo usati cinque) e i
corrispondenti punti della mappa.
Fig. 18: corrispondenza tra i punti della mappa e i punti nel fotogramma.
Il programma calcola così la matrice di calibrazione che per le nostre due telecamere è:

15. Telecamera blu:
HomographicMatrix = -0.723261 -0.784582 0.769964 -0.630082 -0.427861 0.5745 -1.11085
-0.717232 1
InverseHomographicMatrix = 76.9135 -1130.22 590.089 39.4106 -642.371 338.697 113.706
-1716.23 899.424
camerapos_h = 0
camerapos_x = 0
camerapos_y = 0
focal_length = 13.643
map_x = 1
map_y = 1
Telecamera verde:
HomographicMatrix = -1.04148 -1.20163 1.64993 -0.150377 0.353267 0.409795 -1.26692
0.770418 1
InverseHomographicMatrix = 0.0394749 2.59924 -1.13029 -0.387662 1.10249 0.18782 0.348673
2.44364 -0.576678
camerapos_h = 0
camerapos_x = 0
camerapos_y = 0
focal_length = 3.43041
map_x = 1
map_y = 1

16. 10. FILTRI
Per concludere presentiamo una serie di elaborazioni ottenute con photoshop su un fotogramma del video.
Si vuole così porre in evidenza alcuni delle difficoltà dovute a fonti di luce mista, indicarndo vie possibili per
riduzioni del rumore, ed estrarre i contorni delle figure per seguirne i movimenti.
Riduciamo le sfumature possibili sul pavimento e riduciamo i chiaro scuri, si attenuano tutte le ombre.

17. Abbassando la soglia (scala colori 3 b&n) vengono evidenziate le due macroaree: molto chiaro e molto
scuro, le figure umane però scompaiono.
Rimangono invece molto evidenti in questo secondo caso (scala colori 4 b&n).
Altra difficoltà nell'elaborazione è dovuta alla natura mista della luce. La foto che segue (interno-esterno) lo
evidenzia: alcune parti risultano gialle per la temperatura della luce solare, altre prevalentemente blu per i
neon, altre verdi come risultato della somma delle due componenti

18. In questa fase la luce solare sembra essere la componente maggiore, proviamo a esagerando l'esposizione:
e convertendo l'immagine in b&n otteniamo questo risultato

19. Filtro blu (+lum&contrasto) uniforma le due componenti di luce e mette in risalto le ombre umane.
lumiosità -60 e contrasto 80,poi tradotto in negativo:
Migliore il risultato convertendo in negativo e manipolando succesivamente lumiosità e contrasto:

20. I bordi sono visualizzabili al meglio con il filtro personale:
-6
-6 24 -6
-6