Opsporen van videokopieën met behulp van visuele vingerafdrukken en schuivende zoekvensters

1. ELIS – Multimedia Lab
Opsporen van Videokopieën met behulp van
Visuele Vingerafdrukken en Schuivende Zoekvensters
Universiteit Gent – iMinds
Faculteit Ingenieurswetenschappen en Architectuur
Vakgroep Elektronica en Informatiesystemen
Wesley De Neve

2. 2/20
ELIS – Multimedia Lab
• Basisprincipes
• Systeem voor detectie van videokopieën
• YouTube Content ID
Inhoud
2/15

3. 3/20
ELIS – Multimedia Lab
• Basisprincipes
• Systeem voor detectie van videokopieën
• YouTube Content ID
Inhoud
3/15

4. 4/20
ELIS – Multimedia Lab
Populariteit Online Video (1/2)
• Toenemende consumptie van online video
– dankzij gebruiksvriendelijke toestellen en netwerkdiensten
– dankzij goedkope opslag en bandbreedte
– dankzij meer en meer mensen die zich online begeven
• Toenemende beschikbaarheid van online video
– dankzij de digitalisatie van professionele videoarchieven
– dankzij de populariteit van zelf aangemaakte video-inhoud
4/15

5. 5/20
ELIS – Multimedia Lab
• Enkele statistieken
– professionele video-inhoud
• BBC Motion Gallery (sinds januari 2009)
o bevat meer dan 2,5 miljoen uur aan video
o sommige video’s gaan tot 60 jaar terug in de tijd
– zelf aangemaakte video-inhoud
• YouTube (sinds mei 2011)
o elke maand bekijken gebruikers meer dan 4 miljard uur aan
video
o elke minuut plaatsen gebruikers meer dan 72 uur aan video
op de website
Populariteit Online Video (2/2)
5/15

6. 6/20
ELIS – Multimedia Lab
• De populariteit van online video brengt een aantal
uitdagingen met zich mee
• Nood aan technieken voor het opsporen van videokopieën
Uitdagingen Online Video
redundantie in zoekresultateninbreuken op intellectuele eigendom
6/15

7. 7/20
ELIS – Multimedia Lab
• Duplicaten
– exacte videokopieën
– detectie via klassieke hash-functies (bv. MD5)
• Bijna-duplicaten
– videokopieën die het resultaat zijn van een transformatie
– detectie is een uitdaging
Definitie Videokopie
origineel
videofragment
zwart & wit bijsnijden spiegeling
transformatie
7/15

8. 8/20
ELIS – Multimedia Lab
• Basisprincipes
• Systeem voor detectie van videokopieën
• YouTube Content ID
Inhoud
8/15

9. 9/20
ELIS – Multimedia Lab
Systeem voor Detectie van Videokopieën
nieuw
videofragment
geen kopie kopie
≈
zoekprocesdatabank met referentie-
videofragmenten
via visuele
vingerafdrukken &
een schuivend venster
9/15

10. 10/20
ELIS – Multimedia Lab
• Beogen de unieke identificatie van de inhoud van een
videofragment
• Karakteriseren visuele kenmerken
– kleurinformatie
– textuurinformatie
– vorminformatie
– bewegingsinformatie
• Zijn laagdimensionale vectoren die de hoogdimensionale
video-inhoud samenvatten
– laat meer efficient zoeken toe
Visuele Vingerafdrukken (1/2)
10/15

11. 11/20
ELIS – Multimedia Lab
• Worden typisch geëxtraheerd uit sleutelbeelden die
afkomstig zijn uit videoshots
Visuele Vingerafdrukken (2/2)
videoshot 1 videoshot 2
...
kleurenhistogram 1 (64-D)
extractie
...
kleurenhistogram 2 (64-D)
extractie
11/15

12. 12/20
ELIS – Multimedia Lab
• Worden typisch geëxtraheerd uit sleutelbeelden die
afkomstig zijn uit videoshots
Visuele Vingerafdrukken (2/2)
visuele vingerafdruk (128-D)
extractie
... ...
11/15

13. 13/20
ELIS – Multimedia Lab
Zoeken via Visuele Vingerafdrukken &
een Schuivend Venster
referentie-
videofragment
nieuw
videofragment
d1
• di : Euclidische afstand tussen
– de visuele vingerafdruk van het nieuw videofragment
– de visuele vingerafdruk van dat deel van het referentievideofragment
dat tot het schuivend venster behoort
12/15

14. 14/20
ELIS – Multimedia Lab
Zoeken via Visuele Vingerafdrukken &
een Schuivend Venster
referentie-
videofragment
nieuw
videofragment
d2
• di : Euclidische afstand tussen
– de visuele vingerafdruk van het nieuw videofragment
– de visuele vingerafdruk van dat deel van het referentievideofragment
dat tot het schuivend venster behoort
12/15

15. 15/20
ELIS – Multimedia Lab
Zoeken via Visuele Vingerafdrukken &
een Schuivend Venster
referentie-
videofragment
nieuw
videofragment
d3
• di : Euclidische afstand tussen
– de visuele vingerafdruk van het nieuw videofragment
– de visuele vingerafdruk van dat deel van het referentievideofragment
dat tot het schuivend venster behoort
12/15

16. 16/20
ELIS – Multimedia Lab
Zoeken via Visuele Vingerafdrukken &
een Schuivend Venster
referentie-
videofragment
nieuw
videofragment
d4
• di : Euclidische afstand tussen
– de visuele vingerafdruk van het nieuw videofragment
– de visuele vingerafdruk van dat deel van het referentievideofragment
dat tot het schuivend venster behoort
12/15

17. 17/20
ELIS – Multimedia Lab
Zoeken via Visuele Vingerafdrukken &
een Schuivend Venster
referentie-
videofragment
nieuw
videofragment
d5
• di : Euclidische afstand tussen
– de visuele vingerafdruk van het nieuw videofragment
– de visuele vingerafdruk van dat deel van het referentievideofragment
dat tot het schuivend venster behoort
12/15

18. 18/20
ELIS – Multimedia Lab
• Basisprincipes
• Systeem voor detectie van videokopieën
• YouTube Content ID
Inhoud
13/15

19. 19/20
ELIS – Multimedia Lab
• Bedrijfseigen systeem voor het identificeren en beheren van
auteursrechtelijk beschermde inhoud
– analyseert elke dag meer dan 100 jaar aan video
– heeft tot nu toe al meer dan 120 miljoen videokopieën teruggevonden
• Werking
– bestaat uit twee onderdelen: Audio ID & Video ID
– zoekt naar overeenkomsten tussen
o ID-bestanden (vingerafdrukken) in een referentiebibliotheek
o ID-bestanden (vingerafdrukken) die behoren tot nieuwe
videofragmenten
YouTube Content ID (1/2)
14/15

20. 20/20
ELIS – Multimedia Lab
• Beleid
– het aantal onterechte detecties wordt geminimaliseerd
o teneinde onterechte blokkering van inhoud te vermijden
– bij het vinden van terechte videokopieën worden de voorkeuren van
de rechteneigenaren toegepast
o inkomsten genereren (via advertenties)
o weergavestatistieken bijhouden
o inhoud blokkeren
YouTube Content ID (2/2)
15/15