Around the Wiimote: Gestures, Immersion and Usability
•
3 recomendaciones•416 vistas
presentation took at Taller de Sistemes Interactius I (2010) subject from UPF (Universitat Pompeu Fabra) covering the following research papers: Around the Wiimote: Torben Schou, Henry J. Gardner, A Wii remote, a game engine, five sensor bars and a virtual reality theatre, OZCHI '07: Proceedings of the 19th Australasian conference on Computer-‐Human Interaction: Entertaining User Interfaces Akihiko Shirai, Erik Geslin, Simon Richir, WiiMedia: motion analysis methods and applications using a consumer video game controller, Sandbox '07: Proceedings of the 2007 ACM SIGGRAPH symposium on Video games Sreeram Sreedharan, Edmund S. Zurita, Beryl Plimmer, 3D input for 3D worlds, OZCHI '07: Proceedings of the 19th Australasian conference on Computer-‐ Human Interaction: Entertaining User Interfaces Thomas Schlömer, Benjamin Poppinga, Niels Henze, Susanne Boll, Gesture recognition with a Wii controller, TEI '08: Proceedings of the 2nd international conference on Tangible and embedded interaction Takaaki Shiratori, Jessica K. Hodgins, Accelerometer-‐based user interfaces for the control of a physically simulated character, SIGGRAPH Asia '08: SIGGRAPH Asia 2008 papers Luigi Gallo, Giuseppe De Pietro, Ivana Marra, 3D interaction with volumetric medical data: experiencing the Wiimote, Ambi-‐Sys '08: Proceedings of the 1st international conference on Ambient media and systems Torben Schou, Henry J. Gardner, A surround interface using the Wii controller with multiple sensor bars, VRST '08: Proceedings of the 2008 ACM symposium on Virtual reality software and technology Elaine L. Wong, Wilson Y. F. Yuen, Clifford S. T. Choy, Designing Wii controller: a powerful musical instrument in an interactive music performance system, MoMM '08: Proceedings of the 6th International Conference on Advances in Mobile Computing and Multimedia Cheng Guo, James Everett Young, Ehud Sharlin, Touch and toys: new techniques for interaction with a remote group of robots, CHI '09: Proceedings of the 27th international conference on Human factors in computing systems
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (19)
Similar a Around the Wiimote: Gestures, Immersion and Usability
Similar a Around the Wiimote: Gestures, Immersion and Usability (20)
Más de Ignacio Delgado
Último
Último (20)
Around the Wiimote: Gestures, Immersion and Usability
- 1. Around the Wiimote Xavier Cosp Jordi Vallverdú Ignasi Delgado
- 2. INTRODUCTION
- 4. COMMUNICATION • Bluetooth INPUTS • 3-axis linear accelerometer • Optical sensor (up to 4 IR spots) • 12 buttons OUTPUTS • 4 blue leds • Vibration • Sound
- 10. •Use Wiimote’s IR tracking capability •5 sensor bars •Half Life 2 game engine •Screen image was split in half •View point for each is rotated 45 degrees •Aiming and looking modified to follow bounding box approach
- 12. DATA Filtering • Idle state • Directional equiv. Quantizer • K-mean Model • l/r HMM Classifier • Bayes Example gestures: Example recognizer model: Some results: 0 20 40 60 80 100 Average recognition rate of the gestures Square Circle Roll Z Tennis 0 20 40 60 80 100 Average recognition rate of the participants A B C D E F
- 14. MAPPING GESTURES
- 15. Gestures in Music: Conducting A gesture to control: •Tempo •Volume •Legato •Staccato
- 18. Gestures for virtual characters: virtual creature
- 19. Other Mappings: Volumetric Medical Data
- 20. USABILITY
- 21. Gestures for virtual characters: Second Life Determine the desired functions Study the actions potential users would use to perform Use that information to determine gesture vocabulary Benchmark the gesture interface using usability tests (Nielsen)
- 22. 0 20 40 60 80 100 72.9 90 Questions answered on first attemp wiimote keyboard Gestures were easier to remember and more enjoyable Hand gestures as “Hey” can be easily mapped in an intuitive gesture, rather than facial gestures like “look”
- 23. CONCLUSIONS
- 24. Innovative multimodal input device More freedom of movement (+ immersive) Wireless communication Acceleration as input Intuitive Ergonomic Cheap Not much literature on 3D input navigation Not enough usability interfaces tests “Ease” of use (lots of information on Web, and frameworks resources)
- 26. Thanks!
- 27. REFERENCES
- 28. •Torben Schou, Henry J. Gardner, A Wii remote, a game engine, five sensor bars and a virtual reality theatre, OZCHI '0 7: Proceedings of the 19th Australasian conference on Computer-‐Human Interaction: Entertaining User Interfaces •Akihiko Shirai, Erik Geslin, Simon Richir, WiiMedia: motion analysis methods and applications using a consumer video ga me controller, Sandbox '07: Proceedings of the 2007 ACM SIGGRAPH symposium on Video games •Sreeram Sreedharan, Edmund S. Zurita, Beryl Plimmer, 3D input for 3D worlds, OZCHI '07: Proceedings of the 19th Aus tralasian conference on Computer-‐ Human Interaction: Entertaining User Interfaces •Thomas Schlömer, Benjamin Poppinga, Niels Henze, Susanne Boll, Gesture recognition with a Wii controller, TEI '08: Pro ceedings of the 2nd international conference on Tangible and embedded interaction •Takaaki Shiratori, Jessica K. Hodgins, Accelerometer-- ‐based user interfaces for the control of a physically simulated character, SIGGRAPH Asia '08: SIGGRAPH Asia 2008 pa pers •Luigi Gallo, Giuseppe De Pietro, Ivana Marra, 3D interaction with volumetric medical data: experiencing the Wiimote, Amb i-‐Sys '08: Proceedings of the 1st international conference on Ambient media and systems •Torben Schou, Henry J. Gardner, A surround interface using the Wii controller with multiple sensor bars, VRST '08: Proc eedings of the 2008 ACM symposium on Virtual reality software and technology •Elaine L. Wong, Wilson Y. F. Yuen, Clifford S. T. Choy, Designing Wii controller: a powerful musical instrument in an int eractive music performance system, MoMM '08: Proceedings of the 6th International Conference on Advances in Mobile Computing and Multimedia
Notas del editor
- Hola bona tarda, avui els meus companys I jo tenim preparada una presentació centrada en un dels dispositius que més ha revolucionat el camp de l’interacció dels últims anys
- Començarem amb una petita introducció al Wiimote, estem segurs que tots el coneixeu I es molt probable que n’hagueu tingut un a la mà, per si un cas de totes formes inclourem moltes fotos…
- Al llarg de les ultimes decades es dona sobretot en el mon dels videojocs una recerca cap a noves maneres de interactuar mab la maquina. La HCI (Human Computer Interaction) es una necesitat a l’hora de donar uns inputs. L’evolució dels mandos de les consoles n’es un gran exemple desde mitjans dels 70 fins avui en dia les innovacions no han sigut tampoc excesives. A finals del any 2006 l’empresa Nintendo presenta al mercat la seva nova consola Wii, on la part més destacada de la mateixa no son precisament la seva potencia gràfica en els jocs, sino tot una nova manera d’interactuar. Per primer cop es parlava més del “control” de la consola que de la propia consola.
- Si analitzem a fons alguns dels detalls de l’exit del Wii Remote o tb conegut amb el nom de Wiimote podem destacar per una banda una comunicació sense fils mitjançant tecnologia bluetooth, les entrades de dades trobem buttons I pad direccional molt tipics pero a més a més un accelerometre amb 3 graus de llibertat I un sensor òptic que fa tracking de fins a 4 punts de llum infraroja (IR). I coma feedback de retroalimentació disposa de 3 tipus de feedback, visual amb 4 leds, sonor amb un altaveu I haptic al poder vibrar el comandament.
- Un dels majors encerts es precisament es aquesta caracteristica de obtenir l’acceleració (NO LA ROTACIÓ, per la rotacio es necesari un giroscopi I es precisament el que incorpora la actualitzacio del Motion Plus) en els 3 eixos gracies al un accelerometre com el ADXL330 que incorpora el mando de la wii. L’accelerometre de fet es quelcom molt petit, us en passem un per que us en feu una idea ( ;) )
- Si s’analitza amb detall a més a més quines son els inputs més utilitzats donant-lis més color verd als més utilitzats com input podem observar en aquest grafic que la mayor part de la interacció es amb moviment, apuntar y els botons A I B. Despres el més utilitzat es la fletxa cap abaix seguit de les altres fletxes y els butons de home + I -. Per últim els menys utilitzats son el power I els botons de 1 i 2.
- .A més com a mando es interesant destacar que es controla amb una sola ma, te una forma bastant hergonomica(per exemple com deiem abans, els botons mes utilitzats son els més acesibles rapidament, mentre els de menys us son més llunyans I dificils d’accedir) I el seu cost es relativament baix, el que el converteix en un dispositiu molt atractiu per experimentar. Un dispositiu ideal per interficies multimodals. Cal dir que per accedir a totes les dades dels sensors s’ha fet enginyeria inversa I webs com wiibrew.org contenen tota la informació al detall que s’ha aconseguit obtenir per tal de permetre una communicació bidireccional amb el wiimote. Altres coses interesants derivades de les seves caracteristiques es que al ser inalambric I nomes requerir una mà dona com més llibertat a l’usuari, evidentment Nintendo ho ha sapigut explotar desde un bon principi treient jocs com el de tennis. Per que amb aquesta llibertat de moviment el que es preten també es crear una interacció més immersiva.
- Aprofitant la binentesa d’ambients immersius nema mostrar primerament un projecte que fa servir algunes de les capacitats del mando de la wii per crear un espai d’interaccio més immersiu
- Com deia abans “algunes” de les capacitats del mando perque no n’aprofita pas totes. De fet el que tracta de fer es controlar la posició respecte el mon virtual a traves del tracking IR que pot fer el mando. No s’en fa us de l’accelerometre tot I que podria haver sigut una opció interesant doncs per exemple carregar l’arma amb una sacsejada. El projecte consta de dos parets en angle de 90 graus amb 2 projectors un per a cada parte on a la imatge projectada se li ha aplicat la corresponent distorsió. Com s pot veure en el grafic de sote I com dit anteriorment el mando de la wii nomes pot fer tracking de fins a 4 punts pert tant aixo limita l’espai de moviment a l’hora de moures.
- Pero potser una de les coses més atraients de poder moures lliurement es poder reconeixer precisament els gestos empleats
- Primerament dir que els pasos tipics a l’hora de reconeixer un gest solen ser l’obtenció de les dades, filtrane aquestes, per exemple en el cas del mando de la wii les dades directes del accelerometren contenen molt de soroll, molts salts per tant cal suavitzar una mica a més a més de detectar el moment en que no es fa res per a no detectar el “no-res” com a moviment, quantitzar, utilitzar un model ocult de markov I finalment un classificador de Bayes. No entrarem en detall pero si que aquests dos ultims pasos en el cas del 1$ recognizer que van aprlar els nostres companys en una presentació es porta de manera diferent sense utilitzar estadistica. En quant als resultats sobre la implementació d’aquet model coma reconeixedor cal dir que el nombre d’usuaris que es van evaluar era bastant limitat (només 6) pero els resultats son bastant prometedors amb un reconeixement del 85 al 95, el que deixa encara bastant espai. Tot el projecte es pot trobar online a http://wiigee.sourceforge.net
- Existeixen projectes només dedicats al reconeixement de gestos, com wiigee que es l’mplementació del model anterior I els resultats mostrats anteriorment, I d’altres com WiiGle. Ambdos opensource.
- Per a qué ens pot interesar reconeixer gestos? Doncs perque s’obren moltes més posibilitats que no pas totes les combinacions de botons posibles, I en molts casos fins I tot els gestos son més facils de recordar. Nem a veure alguns exemples de mapeig de gestos
- Alguns exemples es troven facilment en el mon de la música. Per exemple el director d’orquestra que mou la seva baqueta per conduir-la. Son facilment identificables coma mínim 4 caracteristiques de control amb el seu moviment. A la esquerra per exmpel es troben els gestos pels compasos 2/4 I 4/4 (fer el gest). Ara bé cal analitzar les dades rebudes a partir del accelerometre per veure com mapejar els 4 controls
- Primer de tot cal identificar el “beat”, el que no es trivial. En el cas del 2/4 podem només observant la informació de l’eix de les y detectar les pujades I baixades I determinar quan es produeix el beat. Amb el compas 4/4 caldrà a més tenir en compte l’eix de les X. Un cop es poden identificar una sequencia de “beats” aquets son els que determinen el “tempo”. El volum es pot facilment mapejar amb l’amplitud del gest. Per últim 2 propietats de l’articualació tb facils de reconeixer son el Legato (transició de notes suaument) y el Staccato (transició brusca de notes, notes separades. Veien les grafikes veiem kom al Staccato son cops “secs” ambinstatnts petits d’acceleració, mentre el patró del Legato es molt més suau.
- Provem ara amb quelcom més dificl com una bateria. S’intenta mapejar nomes el Tom, el Snare y el Hi-hat que es poden veure marcats a la foto. A més a més es fara servir un Nunchuk conectat (el k ens dona un acelerometre més) Amb 2 mandos es vol mapejar 3 instruments de la bateria. Si s’observa el patro dels accelerometres com k el Hi-Hat està una mica més elevat que el Tom la força que s’aplica sobre aquest també es menor. A la grafica podem observar que la força aplicada sobre Hi-hat esta per sota de 0, mentre que per sobre de 0.7 sempre esta Tom. Aquest dos mapejos van ser provats tan amb usuaris amb experiencia en musica com amb usuaris sense cap tipus d’experiencia. Cal remarcar que mentres els que en sabien de musica estaven més pendents del so generat I era molest el retard, pels usuaris sense nocions era més important la relacio accio-reaccio amb el gest I no eren tan capazos de notar el retard. Els usuaris sense nocions de musica tot I continuar trovant-se amb dificultats per seguir el ritme es divertien tocant de manera aleatoria, per tant es pot dir que hi havia una certa afinitat, un cert tipus de “user experience” agradable del sistema.
- Es fan tests amb 15 voluntaris (pocs), 7 estudiants d’informatica. Conclusions, els testos de les 3 interaccions respecte al joystick normal tenen significativament menys “failures”. Leg interface menys problemes a les curves k joystick. No rellevant en salts I caigudes.Tpk rellevant temps fins primer error ni temps en acabar recorregut. Canells I cames millor puntuacio com a immersio k el joystick. Tb han agradat més. Wiimoted based interfaces control més fàcil. Segons les enquestes legs mes immersive, pero alguns trovaven a faltar k no coria/caminava a la mateixa velocitat k ells movien les cames. Girar era mes facil per alguns mentre d’altres van valorar menys divertit el fet de haver de girar el cap, ja que girar el cap es gira el punt de vista I es fa més dificil. Canells tb més immersiva k joystick.molt facilde fer nar potser derivat del fet k requereix menys moviment k la interficie cames o braços. La arm interface tot I k la valoren intuitiva es troven k es dificil de fer servir. Tb coma comentari alguns van fer notar k la interfici amb les cames era la que cansava més. El que es interesant destacar que amb les interficies creades que son més immersives que el joystick normal també tenen més delay, pero semlar ser que el fet de ferles més immersives mitiga les queixes per delay. Intuitivament els usuaris sabem k despres de fer una accio hi ha un cert temps de retard fins k el caracter virtual la “copia”.
- No per aixo tots els mapejos hand e ser directament de les dades rebudes dels accelerometres. Aquest es un exmplemolt concret en un context molt determinat d’on primerament es van identificar tota una serie de requisits que despres es van mapejar. En aquest cas l’objectiu es poder treballar de manera semmiimmersiva amb dades volumetriques (per exemple una TAC). Es van posar en contacte amb cirurgians I es va pensar la manera que poguessin tenir una eina poc invasiva, hergonomica I util a les seves necesitats de visualització. L’analisis de necesitatas va fer veure que principalment eren dues, apuntar I manipular. Amb subaccions diferents depenent l’estat. En l’estta d’apuntar doncs agrandar el punter, fixar-lo o simplement mourel, mentres k en l’stat de manipulació doncs rotar, fer zoom, etc. Finalment es va optar com a millor solucio utilitzar un wiimote on el canvi d’stat principal es far mitjançant el boto HOME mentres totes les altres operacions encesaries es mapejen. El tot es va desenvolupar fent servir tb una llibreria opensource per visualitzar dades mediques anomenada MITO. Entre les conclusions a destacar per a que pugui tenir un major exit de futur es considerar la multiinteracció ja que normalemnt els metges comparteixen I discuteixen sobre un model.
- De les conclusions dels estudis anteriors el que tb ens hauriem de fixar no es només en com mappegar els gestos, sino en saber evaluar la usabilitat dels mateixos, si son comprensibles I facils de fer servir, si son útils. Per aixo en destacarem un petit projecte on el mapeig dels gestos no es tant important en si, sino l’evaluacio de l’usabilitat dels mateixos
- La idea es poder fer controlar alguns gestos dels personatges virtuals de Second Life. De fet hi ha molt poca literatura referent a com disenyar gestos en 3D. Una de les posibles guies a seguir son els pasos que indica en Nielsen.
- Es van fer servir 10 eprsones, totes habituades a teclat/ratoli pero k no havien fet mai servir el wiimote. Primer sles demana gestos relacionants mab la navegacio.Sel’s va demanar com farien els gestos de Hey,laught,point me, point you, yes/agree, no/disagree. Per la navegacio van observar que els participants preferien fer servir els buttons que fer un gest. Per la segona meitad de gestos es va tendir ha imitar el moviment de la mà del avatar, fins hi tot en accions on la ma de l’avatar apenes es mou. Per el Si/no nomes 2 persones van preferir butons. Com a curiositat una persona es va posar el mando al cap per fer el moviment del cap, mentres la resta va fer el tipic moviment de dalt a baix pel si I de dreta-esquerra pel no. El “laught” no es pot mapejar bé pero ho van intentar de diverses formes. Dles gestos van bservar k nomes 5 eren comuns a tos els participants: Hey, yes, no, point at me, point at you. Cal destacar que tot I les repostes positives de feedback el percentatge de encert al primer intent es encara distant de d’altres més convencionals com el teclat
- Un dels projectes per crear aplicacions amb el wiimote es la llibreria WiiMedia. Algunes de les aplicacions fetes amb aquesta llibreria son AceSpeeder2Wii (simulador de carreres amb coxes antigravetat tipus wipeout), Papier Poupee Painter (programa per nens per dibuixar per pantalla), JaWii (simulador d’esgrima)