SlideShare una empresa de Scribd logo
1 de 37
Descargar para leer sin conexión
Analisi e sviluppo di metodi per 
  l'individuazione di manipolazioni Copy‐Move 
         in applicazioni di Image Forensics

                                   Luca Del Tongo

Relatori                                                                      Correlatori
Prof. Alberto Del Bimbo                                                  Dr. Irene Amerini
Prof. Alessandro Piva                                                 Dr. Lamberto Ballan
                                       15 Luglio 2011                 Dr. Roberto Caldelli
                                                                       Dr. Giuseppe Serra

                                 UNIVERSITA’ DEGLI STUDI DI FIRENZE
                          CORSO DI LAUREA INGEGNERIA INFORMATICA
Image Forensics
Insieme di tecniche volte ad analizzare la veridicità di immagini 
digitali, affinché il loro contenuto possa essere utilizzato come 
prova giuridica all'interno di un'indagine forense.
Forgery Detection
Le varie tecniche di manipolazioni di immagine possono essere 
classificate in tre macro‐categorie:
1.Fotoritocco.
2.Composizione (Image Splicing).
3.Duplicazione di regioni (Copy‐Move).
Forgery Detection
Le varie tecniche di manipolazioni di immagine possono essere 
classificate in tre macro‐categorie:
1.Fotoritocco.
2.Composizione (Image Splicing).
3.Duplicazione di regioni (Copy‐Move).




                       +               =
Forgery Detection
Le varie tecniche di manipolazioni di immagine possono essere 
classificate in tre macro‐categorie:
1.Fotoritocco.
2.Composizione (Image Splicing).
3.Duplicazione di regioni (Copy‐Move).
Obiettivo
L’obiettivo del seguente lavoro di tesi consiste nello 
sviluppo di un metodo in grado di identificare e 
localizzare manipolazioni Copy‐Move effettuate su 
immagini digitali.
Copy‐Move Detection: tecniche letteratura
1. Immagine in input suddivisa in blocchi sovrapposti.
2. Estrazione features per ogni blocco (DCT, PCA, Zernike, etc. 
   ).
3. Identificazione blocchi duplicati.
Copy‐Move Detection: tecniche letteratura
1. Immagine in input suddivisa in blocchi sovrapposti.
2. Estrazione features per ogni blocco (DCT, PCA, Zernike, etc. 
   ).
3. Identificazione blocchi duplicati.      MATRICE DELLE FEATURES
                                          f00 f01              f0k
Copy‐Move Detection: tecniche letteratura
1. Immagine in input suddivisa in blocchi sovrapposti.
2. Estrazione features per ogni blocco (DCT, PCA, Zernike, etc. 
   ).
3. Identificazione blocchi duplicati.      MATRICE DELLE FEATURES
                                               f00                     f01                                  f0k
                                               f10                     f11                                  f1k
                                               f20                     f21                                  f2k
                                               f30                     f31                                  f3k
                                               f40                     f41                                  f4k




                                          . . . . . . . . . . . . . 




                                                                                                          . . . . . . . . . . . . . 
                                                                             . . . . . . . . . . . . . 
                                               fn0 fn1                                                      fnk
Copy‐Move Detection: tecniche letteratura
1. Immagine in input suddivisa in blocchi sovrapposti.
2. Estrazione features per ogni blocco (DCT, PCA, Zernike, etc. 
   ).
3. Identificazione blocchi duplicati.   MATRICE DELLE FEATURES ORDINATA
                                                f30                     f31                                  f3k
                                                fn0                     fn1                                  fnk
                                                f20                     f21                                  f2k
                                                f40                     f41                                  f4k
                                                f00                     f01                                  f0k




                                           . . . . . . . . . . . . . 




                                                                                                           . . . . . . . . . . . . . 
                                                                              . . . . . . . . . . . . . 
                                                f10 f11                                                      f1k
Copy‐Move Detection: tecniche letteratura
1. Immagine in input suddivisa in blocchi sovrapposti.
2. Estrazione features per ogni blocco (DCT, PCA, Zernike, etc. 
   ).
3. Identificazione blocchi duplicati.

LIMITAZIONI

• Elevata complessità computazionale.
• Scarsa robustezza rispetto alle tipiche operazioni di 
  manipolazione copy‐move: scala, rotazione, blur etc..
• Elevata presenza di falsi allarmi.
Copy‐Move Detection: Amerini et Al. TIFS 2011
  1. Estrazione SIFT features.
  2. Matching descrittori SIFT.
  3. Clustering keypoints duplicati.




                                         Matching         Clustering 
                                       Descrittori SIFT   Keypoints
Copy‐Move Detection: Amerini et Al. TIFS 2011
  1. Estrazione SIFT features.
  2. Matching descrittori SIFT.
  3. Clustering keypoints duplicati.


  CARATTERISTICHE
  • Robusto rispetto alle tipiche operazioni di manipolazione 
    copy‐move: scala, rotazione, etc.
                                         Matching       Clustering 
  • Il criterio di matching identifica solamente una singola copia 
                                       Descrittori SIFT Keypoints
    di un oggetto duplicato.
  • Problemi di identificazione per regioni duplicate vicine.
Copy‐Move Detection: approccio proposto




Supera le principali limitazioni del precedente lavoro di Amerini et 
al. introducendo:
•Nuovo criterio di matching descrittori SIFT (g2NN).
•Nuove tecniche di clustering keypoints.
•Localizzazione regioni duplicate.
Matching g2NN
•   Generalizzazione matching 2NN in grado di identificare molteplici copie dello 
    stesso descrittore (copy‐move multiplo).
Matching g2NN
•   Generalizzazione matching 2NN in grado di identificare molteplici copie dello 
    stesso descrittore (copy‐move multiplo).
Matching g2NN
•   Generalizzazione matching 2NN in grado di identificare molteplici copie dello 
    stesso descrittore (copy‐move multiplo).
                        1NN
                                                      Matching 2NN
                       2NN

                                                   QUERY            1NN         2NN


                                                             distance     distance
                                                              ratio 1      ratio 2
Matching g2NN
•   Generalizzazione matching 2NN in grado di identificare molteplici copie dello 
    stesso descrittore (copy‐move multiplo).
                         1NN
                                                      Matching 2NN
                        3NN

                                         QUERY          1NN          2NN         3NN


                  2NN
                                                  distance    distance     distance
                                                   ratio 1
                                          Matching g2NN        ratio 2      ratio 3
Clustering
• DBSCAN
   – Metodo basato sulla densità spaziale dei punti.
   – Stima automatica dei parametri di clustering.
   – Clusters non identificati per copie di oggetti vicini.
• DBSCAN Vincolato
   – Metodo semi‐supervisionato basato sulla densità spaziale dei punti.
   – Stima automatica dei parametri di clustering.
   – Clusters non correttamente identificati per copie di oggetti vicini.
• J‐Linkage
   – Metodo operante nello spazio delle trasformazioni affini.
   – Clusters correttamente identificati per copie di oggetti vicini.
DBSCAN vincolato
• Clustering semi‐supervisionato basato sulla densità e su di un 
  insieme di vincoli che guidano il processo di clustering:
   –   Vincoli cannot‐link definiti tra i punti duplicati identificati durante la 
       fase di matching.




                                VINCOLO CANNOT‐LINK
J‐Linkage
• Clustering eseguito nello spazio delle trasformazioni affini:
   1. K selezioni di 3 matches e calcolo delle relative trasformazioni 
      affini.
J‐Linkage
• Clustering eseguito nello spazio delle trasformazioni affini:
   1. K selezioni di 3 matches e calcolo delle relative trasformazioni 
      affini.
J‐Linkage
• Clustering eseguito nello spazio delle trasformazioni affini:
   1. K selezioni di 3 matches e calcolo delle relative trasformazioni 
      affini.                                            T1
J‐Linkage
• Clustering eseguito nello spazio delle trasformazioni affini:
   1. K selezioni di 3 matches e calcolo delle relative trasformazioni 
      affini.                                            T2
J‐Linkage
• Clustering eseguito nello spazio delle trasformazioni affini:
   1. K selezioni di 3 matches e calcolo delle relative trasformazioni 
      affini.                                            Tk
J‐Linkage
• Clustering eseguito nello spazio delle trasformazioni affini:
   1. K selezioni di 3 matches e calcolo delle relative trasformazioni 
      affini.
   2. Punti di match rappresentati nello spazio binario K‐
      dimensionale definito dalle trasformazioni calcolate in 
      precedenza.
J‐Linkage
• Clustering eseguito nello spazio delle trasformazioni affini:
   1. K selezioni di 3 matches e calcolo delle relative trasformazioni 
      affini.
   2. Punti di match rappresentati nello spazio binario K‐
      dimensionale definito dalle trasformazioni calcolate in 
      precedenza.
   3. Clustering gerarchico agglomerativo dei matches nel nuovo 
      spazio delle trasformazioni.
J‐Linkage
• Clustering eseguito nello spazio delle trasformazioni affini:
    1. K selezioni di 3 matches e calcolo delle relative trasformazioni 
       affini.
    2. Punti di match rappresentati nello spazio binario K‐
       dimensionale definito dalle trasformazioni calcolate in 
       precedenza.
    3. Clustering gerarchico agglomerativo dei matches nel nuovo 
       spazio delle trasformazioni.
•   I matches appartenenti allo stesso cluster condividono una 
    trasformazione affine.
Clustering: regioni duplicate vicine
IMMAGINE INPUT MANIPOLATA   DBSCAN




DBSCAN‐VINCOLATO            J‐LINKAGE K=120
Localizzazione regioni duplicate
Localizzazione regioni duplicate
Localizzazione regioni duplicate
Localizzazione regioni duplicate
Risultati sperimentali: DB‐1982
• Dataset composto da 440 immagini originali e 160 immagini 
  manipolate (copie multiple, copie vicine, copie scalate e ruotate).
• Valutazione accuratezza di identificazione: TPR, FPR.
• Valutazione accuratezza localizzazione: Pixel Falsi Positivi (FP), 
  Pixel Falsi Negativi (FN).

    IDENTIFICAZIONE    TPR %   FPR %    LOCALIZZAZIONE    FP %    FN %

       DBSCAN          71,7     5,6         DBSCAN        0,2     12,7

  DBSCAN VINCOLATO     88,1    31,3    DBSCAN VINCOLATO   0,3     7,9
      J‐LINKAGE         82      9,7        J‐LINKAGE      0,3     5,5
   Amerini TIFS 2011    69     12,5
Risultati sperimentali: SATS‐130
• Confronto con le tecniche stato dell’arte.
• Dataset composto da 130 immagini manipolate (assenza di 
  manipolazioni affini).
• Valutazione accuratezza localizzazione: Pixel Falsi Positivi (FP), 
  Pixel Falsi Negativi (FN).

             LOCALIZZAZIONE          FP %            FN %
               LOG‐POLAR              4               96
              CIRCLE‐BLOCK            24              66
                 ZERNIKE              0,4             88
          APPROCCIO PROPOSTO          0,8             14
Conclusioni e sviluppi futuri
• Sviluppo metodo di copy‐move detection:
   –   Robusto a manipolazioni geometriche.
   –   Robusto a copie multiple dello stesso oggetto.
   –   In grado di localizzare accuratamente le eventuali regioni duplicate.
• Articolo ICME 2011
   –   I. Amerini, L. Ballan, R. Caldelli, A. Del Bimbo, L. Del Tongo, and G. Serra, "An 
       image forensics tool for copy‐move detection and localization", ICME 2011 
       Barcelona Spain 11‐15 July 2011.

• Sviluppi futuri:
   –   Integrazione con altre tecniche di image forensics applicate nelle zone 
       a bassa tessitura.
Analisi e sviluppo di metodi per 
  l'individuazione di manipolazioni Copy‐Move 
         in applicazioni di Image Forensics

                                   Luca Del Tongo

Relatori                                                                      Correlatori
Prof. Alberto Del Bimbo                                                  Dr. Irene Amerini
Prof. Alessandro Piva                                                 Dr. Lamberto Ballan
                                       15 Luglio 2011                 Dr. Roberto Caldelli
                                                                       Dr. Giuseppe Serra

                                 UNIVERSITA’ DEGLI STUDI DI FIRENZE
                          CORSO DI LAUREA INGEGNERIA INFORMATICA

Más contenido relacionado

Destacado

Destacado (7)

Diseño
Diseño Diseño
Diseño
 
Create your own enterprise apps store
Create your own enterprise apps storeCreate your own enterprise apps store
Create your own enterprise apps store
 
Passeggiata al simbolo di napoli il vesuvio
Passeggiata al simbolo di napoli il vesuvioPasseggiata al simbolo di napoli il vesuvio
Passeggiata al simbolo di napoli il vesuvio
 
It fin analyse_slideshare_20110915
It fin analyse_slideshare_20110915It fin analyse_slideshare_20110915
It fin analyse_slideshare_20110915
 
Merchadising general
Merchadising generalMerchadising general
Merchadising general
 
Identidad y reputacion_y_network_2_0_campus_p
Identidad y reputacion_y_network_2_0_campus_pIdentidad y reputacion_y_network_2_0_campus_p
Identidad y reputacion_y_network_2_0_campus_p
 
Rezultate 2Parale - august 2011
Rezultate 2Parale - august 2011Rezultate 2Parale - august 2011
Rezultate 2Parale - august 2011
 

Luca Del Tongo