1. Progettazione ed implementazione di un sistema per
Facoltà di Ingegneria
Corso di Studi in Ingegneria Informatica
l'estrazione automatica di notizie da filmati di telegiornali.
Titolo della Tesi
tesi di laurea
Progettazione ed implementazione di un sistema per l'estrazione
automatica di notizie da filmati di telegiornali.
Anno Accademico 2008/2009
relatore
Ch.mo prof. Carlo Sansone
candidato
Fabio Ronca
Matr. 885/212
2. Progettazione ed implementazione di un sistema per
Facoltà di Ingegneria
Corso di Studi in Ingegneria Informatica
l'estrazione automatica di notizie da filmati di telegiornali.
Titolo della Tesi
Descrizione del problema
News video processing: analisi, individuazione e catalogazione di filmati
riguardanti notizie.
Ø Shot segmentation: suddivisione del filmato analizzato in shot ovvero
segmenti video visivamente omogenei identificati da due cut consecutivi.
Ø Shot classification: classificazione degli shot in base al loro contenuto.
Ø News Story Segmentation: raggruppamento degli shot con contenuto
semantico omogeneo in un unico segmento video.
Modello di telegiornale
Ø Anchor shot
Ø News-Report shot
3. Progettazione ed implementazione di un sistema per
Facoltà di Ingegneria
Corso di Studi in Ingegneria Informatica
l'estrazione automatica di notizie da filmati di telegiornali.
Titolo della Tesi
Contributo apportato
Il lavoro di tesi è incentrato sul News video Processing soffermandosi sullo studio
delle tecniche di shot change detection e anchor shot detection al fine di:
Ø realizzare uno strumento software che,
consenta l’estrazione automatica di
notizie da filmati di telegiornali
Ø valutare le prestazioni del sistema di
estrazione ed individuare la combinazione
di algoritmi di shot change detection e
anchor shot detection in grado di fornire le
prestazioni migliori.
4. Progettazione ed implementazione di un sistema per
Facoltà di Ingegneria
Corso di Studi in Ingegneria Informatica
l'estrazione automatica di notizie da filmati di telegiornali.
Titolo della Tesi
Il sistema realizzato
Funzionalità principali
Ø esecuzione degli algoritmi di shot change detection
Ø esecuzione degli algoritmi di anchor shot detection
Ø valutazione indici prestazionale dei vari algoritmi
Ø estrazione delle news presenti nel filmato elaborato
Ø visualizzazione delle notizie in cui è suddiviso il video processato
5. Progettazione ed implementazione di un sistema per
Facoltà di Ingegneria
Corso di Studi in Ingegneria Informatica
l'estrazione automatica di notizie da filmati di telegiornali.
Titolo della Tesi
Shot Change Detection 1/2
Scopo: suddividere l’intero filmato in segmenti (shot)
caratterizzati da una continuità dell’informazione video e
cioè associati ad un’unica azione di ripresa.
Effetti di editing e cambi di scena
ØCut
ØDissolvenze
Metodo di combinazione
Ø Logica all’unanimità
Ø Logica OR
Ø Logica a maggioranza
6. Progettazione ed implementazione di un sistema per
Facoltà di Ingegneria
Corso di Studi in Ingegneria Informatica
l'estrazione automatica di notizie da filmati di telegiornali.
Titolo della Tesi
Shot Change Detection 2/2
2/2
Dominio Effetti Grado di
Esperti Idea di base
operativo rilevati decodifica
Estrazione del coefficiente in continua, o
transazioni
coefficienti coefficiente DC, della trasformata discreta
Yeo et al. compresso brusche e
della DCT del coseno dei pixel di ciascun blocco dei
graduali
frame MPEG.
Analisi di macroblocchi omologhi, relativi a
transazioni codifica dei
Pei et al. compresso frame consecutivi e confronto con opportuni
brusche macroblocchi
pattern.
Estrazione del bit-rate e rilevazione dei cut
transazioni
Feng et al. compresso bit rate attraverso l’utilizzo di metriche differenti in
brusche
funzione del tipo di frame analizzato.
Confronto tra le stime di moto relative a
vettori di frame consecutivi. Individuazione di un cut
transazioni moto ed qualora la somma delle distanze di moto
Bhandarkar compresso
brusche errore di relativa a macroblocchi omologhi di frame
predizione consecutivi sia superiore di una
determinata soglia.
7. Progettazione ed implementazione di un sistema per
Facoltà di Ingegneria
Corso di Studi in Ingegneria Informatica
l'estrazione automatica di notizie da filmati di telegiornali.
Titolo della Tesi
Anchor Shot Detection 1/2
Scopo: individuazione automatica degli shot riguardanti un anchorman del
filmato di telegiornale esaminato.
Tecniche utilizzate basate su:
Utilizzo delle informazioni video
Utilizzo delle informazioni audio-video
8. Progettazione ed implementazione di un sistema per
Facoltà di Ingegneria
Corso di Studi in Ingegneria Informatica
l'estrazione automatica di notizie da filmati di telegiornali.
Titolo della Tesi
Anchor Shot Detection 2/2
2/2
Informazioni
Modalità di classificazione
utilizzate
Processo di classificazione di tipo model-free basato su approccio
Bertini et
video statistico e sull’utilizzo di feature di movimento per gli anchorperson.
al.
Calcolo del lifetime L(sk) per ogni shot
Processo di classificazione di tipo model-free basato su quattro fasi
Gao e Tang video fondamentali: short shot processing, key frame extractor, GTC Analysis,
post processing
Determinazione di un unico template video, classificazione basata sul
Hanjalic et
video livello di similarità grafica tra il template individuato e i restanti shot del
al.
video.
Determinazione di un insieme di template audio/video per ogni occorrenza
dell’anchorman in video. Classificazione effettuata in due fasi:
1. Classificazione video ricorrendo alla GTC analysis affiancata a filtraggi
CLPR audio/video
basati su lifetime, face detection e distanza temporale minima.
2. Classificazione audio, effettuata sugli shot scartati nella prima fase,
basata sull’utilizzo di indici di similarità audio.
9. Progettazione ed implementazione di un sistema per
Facoltà di Ingegneria
Corso di Studi in Ingegneria Informatica
l'estrazione automatica di notizie da filmati di telegiornali.
Titolo della Tesi
Moduli News Extractor e Performance Evaluation
Modulo News Extractor: responsabile dell’individuazione delle notizie presenti nel
telegiornale analizzato.
Modulo Performance Evaluation: responsabile
dell’analisi prestazionale degli algoritmi utilizzati
durante il processo di News Video Segmentation
Indici prestazionali:
cd cd
precision = recall =
cd + f cd + m
2 ⋅ precision ⋅ recall
F=
precision + recall
10. Progettazione ed implementazione di un sistema per
Facoltà di Ingegneria
Corso di Studi in Ingegneria Informatica
l'estrazione automatica di notizie da filmati di telegiornali.
Titolo della Tesi
Risultati Sperimentali 1/3
Caratteristiche del database sperimentale
Ø10 edizioni per un totale di 5 ore di filmati, circa 3000 shot e 160 anchor shot
ØTelegiornali selezionati su due emittenti (Rai 1 e Canale 5)
Ø Modelli di telegiornali differenti (numero di anchorman e tipologie di ripresa video)
Risultati per gli algoritmi di Shot Change Detection
Hit False Missed Precision Recall F
YEO et Al. 2513 260 483 0,906 0,839 0,871
PEI et Al. 2154 547 842 0,797 0,719 0,756
FEN et Al. 2005 935 991 0,682 0,669 0,675
BHA et Al. 1874 1291 1122 0,592 0,625 0,608
COMBINATA 2515 253 481 0,909 0,839 0,873
11. Progettazione ed implementazione di un sistema per
Facoltà di Ingegneria
Corso di Studi in Ingegneria Informatica
l'estrazione automatica di notizie da filmati di telegiornali.
Titolo della Tesi
Risultati Sperimentali 2/3
Anchor Shot Detection su “cut esatti” Combinazione degli algoritmi di SCD-ASD
Hit False Missed Precision Recall F
Hit False Missed Precision Recall F
YEO-CLPR 131 43 29 0,752 0,819 0,784
CLPR 156 10 4 0,94 0,975 0,957 YEO-GAO 125 31 35 0,801 0,781 0,791
YEO-BER 118 48 42 0,711 0,737 0,724
GAO 141 18 19 0,887 0,881 0,884 YEO-HAN 83 14 77 0,856 0,519 0,646
PEI-CLPR 100 44 60 0,694 0,625 0,658
BER 140 13 20 0,915 0,875 0,895 PEI-GAO 104 40 56 0,722 0,65 0,684
PEI-BER 97 61 63 0,614 0,606 0,61
HAN 102 9 58 0,919 0,637 0,753
PEI-HAN 60 15 100 0,8 0,375 0,511
FEN-CLPR 97 39 63 0,713 0,606 0,655
FEN-GAO 97 93 63 0,51 0,606 0,554
FEN-BER 89 39 71 0,659 0,556 0,618
Intervallo di tolleranza per la FEN-HAN 77 27 83 0,74 0,481 0,583
determinazione dell’anchor shot BHA-CLPR 101 38 59 0,727 0,631 0,676
boundary BHA-GAO 95 58 65 0,621 0,594 0,607
BHA-BER 93 49 67 0,655 0,581 0,616
BHA-HAN 70 21 90 0,769 0,437 0,558
COMB-CLPR 131 30 29 0,8147 0,819 0,816
COMB-GAO 116 23 44 0,834 0,725 0,776
COMB-BER 115 21 45 0,846 0,719 0,777
COMB-HAN 87 12 73 0,879 0,544 0,672
13. Progettazione ed implementazione di un sistema per
Facoltà di Ingegneria
Corso di Studi in Ingegneria Informatica
l'estrazione automatica di notizie da filmati di telegiornali.
Titolo della Tesi
Conclusioni
Tempi di esecuzione medi per tg della durata di 30 minuti
YEO PEI FEN BHA BER GAO HAN CLPR
Tempi Tempi
30 min. 35 min. 25 min. 30 min. 30 min. 40 min. 35 min. 70 min.
medi medi
Tra gli algoritmi esaminati la coppia di algoritmi di SCD-ASD che consente di
ottenere prestazioni migliori indipendentemente dalla tipologia di telegiornale
esaminato è YEO-CLPR
Sviluppi futuri
Aggiungere alle implementazioni dei metodi di Pei e Bhandarkar la logica
necessaria all’individuazione dei cambiamenti di scena graduale
Introdurre strategie di combinazione anche per gli algoritmi di ASD in modo da
migliorare le prestazioni complessive del sistema.
