Vmesniki kot tisti v filmu Minority Report niso več znanstvena fantastika.

1. Pozor,
računalnik te gleda!
Borut Kumperščak, CTO, UNIKI d.o.o.
@kumpri, borut@uniki.eu
Serija predavanj Do gležnjev v blatu,@vblatu, http://meetup.com/vblatu
November 2011

2. Vsebina
• ideja “nevidnega vmesnika”
• zakaj računalniški vid
• sodobni senzorji in algoritmi
• aplikacije

3. Ideja “nevidnega” UI
• prostor se odziva na prisotnost oseb
• velike vizualne površine - projekcija, LED
wall
• več uporabnikov hkrati
• “Naravni vmesnik”, NI, NUI

4. Minority report
• video: Minority report - oglasi
http://www.youtube.com/watch?
v=oBaiKsYUdvg

5. Zahteve “nevidnega” UI
• neposreden odziv na gibe in kretnje
• visoka toleranca do uporabnika
• oddaljeni senzorji
• delovanje v realnem času

6. Zakaj računalniški vid
• kamera je oddaljena od objekta opazovanja
• delovanje v realnem času
• velika količina zgoščenih informacij

7. Računalniški vid deluje
• kontrola in nadzor
• touch UI
Janez Primc, Emil Jerman, Mitja Zabavnik: Avtomatska
detekcija prometa v slovenskih predorih, ROSUS 2009
Reactable, Reactable Systems
• klasifikacija in razpoznavanje objektov
• knjižnica OpenCV je švicarski nož

8. Računalniški vid ne deluje
• ozek spekter uporabnosti (2D aplikacije)
• potreben “man in the middle”
• kontrolirano okolje
• primer: izločanje ozadja

9. Zakaj ne deluje?
• pomanjkljivi vhodni podatki (2D)
• šum - neželjene motnje na vhodu
• procesorska zahtevnost algoritmov
(OpenCV požre CPU za malico)

10. Rešitev?
• dodatni vmesniki, senzorji
• globinsko zaznavanje (3D)
• boljši algoritmi

11. Globinsko zaznavanje
• 3D slika okolja
• posnema človeško dojemanje
• celovito zaznavanje v kombinaciji z RGB
sliko

12. Stereo kamera
• kombinacija dveh kamer
• umerjena pozicija in razdalja med njima
• koreliramo točke na dveh slikah
Point Grey Bumblebee 2

13. Stereo kamera
• zahteven proces umerjanja
• CPU zahtevna korelacija
• visoka cena

14. TOF kamera
• kombinacija senzorja in osvetlitve
• senzor in osvetlitev zelo natančno
sinhronizirana
• točke merijo čas potovanja žarka (princip
radarja)
Panasonic D-Imager

15. TOF kamera
• zahtevna izdelava
• visoka cena

16. Strukturirana osvetlitev
• prostor osvetljen z znanim vzorcem
svetlobe
• navadna kamera (senzor)
• iz korelacije vzorca s posnetkom se
izračuna globinski odklon za vsako točko
XBox Kinect vzorec projicirane svetlobe

17. Strukturirana osvetlitev
• podobno stereo kameri, ena od kamer
nadomeščena z izvorom
• manj CPU zahtevno
• problem je osvetlitev

18. PrimeSense
• osvetlitev je IR
• osvetlitev je laserska
• CPU vgrajen v kamero
• osnova za XBox Kinect in Asus WAVI Xtion
XBox Kinect Asus WAVI Xtion

19. Kje nam to pomaga?
• enostavno izločanje ozadja
• preprosto polje kazalca - ravnina v 3D
• zajem prostora, pozicije objektov,...
• naprednejši algoritmi

20. Boljši algoritmi
• primer: algoritem za sledenje postavi
Jamie Shotton, Andrew Fitzgibbon, Mat Cook, Toby Sharp, Mark Finocchio, Richard
Moore, Alex Kipman, Andrew Blake: Real-Time Human Pose Recognition in Parts from
Single Depth Images, Microsoft Research Cambridge & Xbox Incubation

21. NITE middleware
• izdelal PrimeSense za svoj senzor
• implementacija algoritmov zaznavanja,
klasifikacije, sledenja (prostor, oseba, roka)
• multithreaded, <10% CPU (trenutna
generacija)

22. It gets better - OpenNI
• OpenNI framework za NI aplikacije
• abstrakcija povezave senzor -> middleware
-> aplikacija
• future-ready
OpenNI User Manual

23. It gets even better
• OpenNI je konzorcij, cross-platform, open
source
• NITE je cross-platform, licenca dovoljuje
uporabo v komercialne namene

24. Kinect
• prva komercialna kamera s PrimeSense
senzorjem
• 3D slika, RGB slika, 3D zvok
• ni programsko omejen ali zaklenjen
(uporablja se PrimeSense driver, ki je open
source)
• poceni

25. Kinect SDK
• ni narejen na OpenNI
• dodaten nivo abstrakcije
• dodelane funkcije iz NITE
• podpora za 3D zvok
• samo za Windows

26. XBox Kinect
• video: XBox Kinect promo
http://www.youtube.com/watch?
v=4OMLjXRfaDQ

27. Kaj se zares dogaja?
• pravi brezdotični in brezšarni 3D vmesnik
• prvi osvojili vizualni umetniki, takoj za njimi
marketing
• odziv presenetil tudi Microsoft

28. Kinect Hacks
• video: Follow this!
http://vimeo.com/29032379

29. UNIKI
• video: 3D avatars
http://www.youtube.com/user/
UNIKIInteractive#p/a/u/0/1QkBIxGjcMY

30. UNIKI
• video: Photo booth interface
http://www.youtube.com/user/
UNIKIInteractive#p/a/u/2/FJjjWCtvq_M

31. Priložnosti za razvoj
• OpenNI Arena:
http://arena.openni.org/
• Kinect Accelerator:
http://www.microsoft.com/bizspark/
kinectaccelerator/

32. Minority report
• video: Minority report - vmesnik
http://www.youtube.com/watch?
v=NwVBzx0LMNQ

33. Hvala.