1. El documento describe varios programas educativos que permiten la interacción con el ordenador a través del movimiento captado por la webcam, sin necesidad de teclado, ratón u otros periféricos. 2. Los programas incluyen juegos de causa-efecto, actividades motrices y musicales que estimulan diferentes áreas como la coordinación, atención y expresión. 3. La tecnología propuesta ofrece nuevas oportunidades educativas, especialmente para usuarios que no pueden usar la interfaz tradicional, y permite traba

1. Interacción basada en webcam
Joaquín Fonoll jfonoll@xtec.cat
Ambrosio Gassol agassol@xtec.cat
Generalitat de Catalunya
Departament d'Educació
Àrea TIC
Projectes TIC per a l’Educació
http://www.xtec.cat/dnee/udc/

2. SiMuove
Programa causa efecto que responde a los
movimientos captados por la webcam
• Minimiza el esfuerzo físico y la complejidad
del interfaz
• Entorno sencillo no requiere cables ni
soportes
• Programa editable que se puede
personalizar
http://www.xtec.net/dnee/udc/act_simuove.htm

3. SiMuove Estructura del programa
Zonas o botones en la pantalla que se activan “tocarlos”
• Carrusel de imágenes y sonidos que se suceden.
– Avanzan con el movimiento Retroceden al quedarse quieto
• Efecto “croma” que genera transparencias
• Puede
– Graduar la sensibilidad para avanzar o retroceder
– Crear una secuencia de ejercicios
– Declarar una combinación de imágenes como solución (refuerzo
final)

4. SiMuove Aspectos técnicos
Cámara de vídeo digital ( 15 fps)
– WebCam A distancia corta ( < 1,5 m) WebCam
– Cámara de Vídeo Digital a distancia media ( > 2 m)
– Vídeo vigilancia a larga distancia
Windows XP o Suse 10
Programes específicos para Windows o Linux
Paquetes de ejercicios
Tecnología de detección
de movimiento restando
fotogramas sucesivos

5. SiMuove Animaciones
Trabaja:
• Ejercicio de causa- efecto
• Amplifica el movimiento
• Estimula la motricidad
• Ejercita la coordinación viso
motriz
Las imágenes de la pantalla se animan con nuestros movimientos

6. SiMuove Adivina
Se muestra paso a paso la
construcción de un objeto que
hay que adivinar
Trabaja:
• Ejercicio de lengua oral
• Estimula la observación y
la expresión
• Trabaja la lógica y el
pensamiento hipotético

7. SiMuove Disfrazar
Fotomatón que combina la imagen
real con un disfraz
Hay dos modos de trabajar:
• Exploración de las imágenes
• Selección voluntaria
Trabaja:
• Actividad lúdica
• Control postural de la cabeza
• Expresión facial
• Léxico, memoria, numeración
•Direccionalidad

8. SiMuove Carreras de coches
Simula la conducción de un coche que
avanza con nuestros movimientos
Ejercita
• Control postural
• Estimula la atención y la motricidad
• Trabajo en equipo

9. SiMuove Simetrías
Hay que encontrar dos mitades de una misma fotografía
moviendo las manos
Ejercita
• Lateralidad derecha / izquierda
• Coordinación extremidades
• Percepción de las formas
• Memoria visual

10. SiMuove – Interfaz -Educación
Aspectos educativos de la nueva interfaz con webcam
• Interacción muy simple al accesible a un mayor número
de usuarios
• No requiere manejar ningún periférico. El ordenador es una
extensión del propio cuerpo que responde incluso a los
movimientos involuntarios
• No requiere estar sentado frente al ordenador sino
dentro del campo visual que podemos modificar con el
enfoque
• Amplificación del efecto motor dotándole de significado
• Integración de la propia imagen en un entorno virtual (
autocontrol y estimulación)

11. Ideas fuerza
1. El ordenador debe ofrecer nuevas oportunidades para
la educación, especialmente allí donde esta ha
conseguido menos resultados.
2. Algunos de los contenidos que se trabajan en la
escuela desborda el uso habitual del ordenador
pensado para el trabajo de oficina.
3. Si superamos el paradigma del teclado y la
pantalla como interfaz del ordenador podremos
atender a nuevos contenidos y usuarios

12. Antecedentes de SiMuove
SiMuove es el resultado de un largo proceso
1987 PIE Programa de Informatica Educativa
1990 Tauleta Sensible - Tswin
1993 Pantalla Táctil - Tpwin
1997 TocaToca Causa-Efecto
2003 Dance Pad – Alfombra de baile
2000 Proyecto Fressa - J Lagares
2004 Webcolor - Cesar Mauri, DanceMusic
2006 SiMuove, WebcolorToy, Emulator....
1996 SDNEE Seminario de Actualización en TIC para la diversidad y las NEE

13. 1987 PIE Programa de Informática Educativa –
Generalitat de Catalunya
Objetivo
Introducir la informática en el sistema
educativo de Cataluña
Nuestro trabajo se caracteriza por
• Ámbito educativo
• Próximos a la demanda del usuario
• Equipo muy reducido
• Limitaciones tecnológicas

14. 1990 Teclados de conceptos
Tableta digitalizadora 120 x 120 pixels y 32 x 32 cm
• Acceso alternativo al teclado para el parvulario y
las NEE (no existían los ratones)
• Se conceptualiza como teclado expandido
programable
• Mapa físico asociado a comandos del ordenador
Desarrollos
• Resolver el interfaz gráfico con el usuario
(pictogramas)
• Software: Tswin, un gestor y mas de 100
aplicaciones educativas
• Producción y distribución digital de todos los
materiales

15. 1993 pantalla táctil y teclados virtuales
• Limitaciones físicas de la
pantalla
• Aplicaciones restringidas
• Tpwin conversión del teclado
de conceptos en teclado virtual

16. 1997 TocaToca Causa Efecto
Los programas de causa - efecto el inicio de la
comunicación persona / ordenador , persona / persona
Simplificar el entorno y las actividades
• Estimulo: textual y multimedia
• Acción: teclado, ratón y otros
• Reacción: textual y multimedia
Joaquin Fonoll jfonoll@pie.xtec.es
TocaToca wwwTocaToca www..xtecxtec.es.es~~jfonolljfonolltocatocatocatoca
Estímulo
Pregunta
Esquema
Acción
respuesta
Refuerzo
Positivo
Negativo
Antes de la acción
Imagen , sonido, texto, color,
Imagen , sonido, texto, color,
Después de la acción
Teclado
Ramón
Voz
Joystic
1997
1999 2002 2004

17. Tecnología de reconocimiento del sonido
• Globus visualización del sonido
• Recofone reconocimiento de fonemas
• Control del mouse por voz
2000 Proyecto Fressa www.lagares.org

18. 2003 Tapiz de danza, sonido
Uso de periféricos procedentes de los
videojuegos
• Integración en las herramientas
desarrolladas anteriormente
• Estabilidad en los diseños
• Economía: Aprovechamiento de
recursos y aplicaciones

19. 2004 Webcolor Cesar Mauri
Control mediante Webcam basado en
tecnología de visión artificial que identifica
una marca de color de color y retorna las
coordenadas.
• Desarrollado por http://www.crea-si.com
• Se compone de
– Api de programación (DLL)
– Pulsador, mouse y joystic virtual
– Ejemplos de programación
– Utiliza un objeto de color como
cursor
– Hay que entrenar el sistema
– Interferencias con los colores del
fondo

20. 2006 WebColorToy Jordi Sanchez
Control mediante Webcam basado en un
sistema de detección de movimiento.
• Se “restan” dos fotogramas consecutivos y
retorna, para un área, un índice de cambio
•No requiere preparación
• Ofrece menor precisión
• Sistema compatible Linux y Windows
Incluye una DLL
• Desarrollado en GPL
jordisc1@worldonline.es

21. Estado de la cuestión
Algunos usuarios no pueden utilizar el ordenador con el interfaz actual.
Las alternativas resultan costosas o aparatosas.
Algunos contenidos propios de la estimulación temprana, la
discapacidad, etc podrían informatizarse pero no con la interfaz actual.
Estrategia
• Ayudas Técnicas: Emulación de los periféricos estándar
• Integración en programas anteriores: economía de esfuerzos
• Desarrollo de nuevos ejercicios: optimización de prestaciones
Para crear una nueva interfaz disponemos:
• Programas abiertos, con múltiples ejercicios, que responden a
diferentes necesidades educativas
• Un sistema de acceso de bajo coste basado en técnicas
elementales de visión artificial.
Empleamos dos tecnologías
• Reconocimiento del movimiento
• Reconocimiento del color

22. Emulator I (Ayuda Técnica )
Modifica la interfaz de cualquier programa
Funciona con la webcam mediante
técnicas de reconocimiento de color o de
movimiento.
• Clic por tiempo con señales visuales
y acústicas.
• Muestra en transparencia la imagen
de la webcam
• Versión Windows y Linux
Ventajas
• Flexibilidad para diversos
usuarios
• Pocas averías mecánicas
Inconvenientes
• Sistema no estándar no siempre
aceptado por el usuario
• No tiene respuesta mecánica
http://www.xtec.cat/dnee/udc/

23. Un mismo programa lo podemos utilizar como
• Pulsador hace clic sobre el programa
activo mostrado o ocultando un color
• Ratón sitúa el puntero de la pantalla
directamente allá donde señala el cursor de
color.
- poca precisión (semejante a una pantalla
táctil)
- requiere entrenamiento ( nos salimos de
campo)
- actúa a distancias alejadas
• Joystick desplaza en puntero en la
dirección que señalamos
• Tablero de conceptos A partir de una
impresión de la pantalla al señalar el papel
situamos el cursor de la pantalla
Emulator 2 (Ayuda Técnica ) http://www.xtec.cat/dnee/udc/

24. Mapea el campo visión de la webcam creando
zonas a las que se asignan comandos.
Permite convertir en interactivo cualquier
espacio
Funciona con tecnología de color
Emula la Tauleta Sensible
Sustituimos el dispositivo físico por la
webcam.
Mejora la respuesta, se reduce el precio y
podemos
• variar el tamaño de la lámina
• aprovechar los materiales anteriores
Tswin
Problemas para ajustar:
• Las posiciones reales al
mapa virtual
• Los movimientos reales 3D
sobre un plano 2D
http://www.xtec.net/recursos/tauleta

25. TocaToca
Programa para realizar ejercicios de
causa efecto, compatibles con diversos
periféricos.
El campo de visión de la webcam se
divide en zonas.
Puede funcionar por detección de color y
de movimiento
http://www.jfonoll.cat/
• Se activa con movimientos
corporales
• Combinación de objetos reales
con situaciones virtuales
•Chutar a portería
• Bolos en la pantalla
• Puntería
• Actividades de estimulación,
motricidad,..
Dificultad para:
• tocar unas zonas sin invadir
otras
• ubicarse dentro del campo
visual de la webcam

26. SiMuove
Juego de causa efecto muy simple
• entorno de autor que permite situar varios
objetos/ secuencias de imágenes, en la
pantalla
• al tocar alguno de los objetos estos
cambian la imagen
• una determinada combinación puede
producir un efecto final
http://www.xtec.cat/dnee/udc/
• la persona puede verse integrada en la imagen
• puede funcionar con el ratón
Aspectos pedagógicos
• actividad de estimulación y control motor
• el tamaño y numero de objetos determina la dificultad
• con un objeto que ocupe toda la pantalla cualquier movimiento
produce un cambio
• con objetos pequeños se requiere precisión

27. WebColorToy
Juego que muestra varios objetos en movimiento.
Debemos atrapar algunos y evitar otros
• entorno de autor que permite situar varios
objetos, sus movimientos y las normas del
juego
• el juego se estructura en niveles y da vidas y
puntos
• la persona puede verse integrada en la
imagen
http://www.xtec.cat/dnee/udc/
Aspectos pedagógicos
• actividad de observación, discriminación y control motriz.
• el tamaño y número de objetos determina la dificultad.
• el tipo de objetos ( figuras, formas, letras, colores) y las reglas del
juego determinan el objetivo de la actividad
• facilita retomar contenidos pedagógicos tradicionales
(discriminación de letras o figuras) mediante actividades más físicas.

28. DanceMusic
Programa que genera notas musicales a partir del
movimiento de un cursor de color.
• Combina un generador MIDI con el webcolor
• Existen opciones para escoger diferentes
instrumentos
• Funciona con el ratón y el joystic
Aspectos pedagógicos
• Los alumnos exploran un escenario sonoro mediante movimientos
físicos.
• Permite desarrollar actividades de estimulación, psicomotricidad,
danza y música.
• Actividad de coordinación auditiva y motor
•Permite actividades en espacios de mesa, aula o patio. Actividades
individuales o juegos de grupo. Sobre el plano vertical u horizontal.
• Lo importante no ocurre en el ordenador sino en el alumno.
http://www.xtec.cat/dnee/udc/

29. El programa “esconde” un objeto que debemos encontrar, siguiendo sus
instrucciones, moviendo nuestro cursor de color.
Al encontrarlo obtenemos un refuerzo visual y auditivo
• Las instrucciones/ orientaciones son
- auditivas
- mediante ordenes izquierda derecha arriba abajo,
- por intensidad i frecuencia de sonido
• Entorno programable podemos variar las imágenes y sonidos que
utilizamos como refuerzo final.
Frio y caliente
Aspectos pedagógicos
•Trabaja la atención, la orientación en el
espació, la discriminación auditiva.
• Permite actividades en espacios
amplios o reducidos.
• Exige rigor en el control del movimiento
para resolver el ejercicio.
http://www.xtec.cat/dnee/udc/

30. La webcam como interfaz
El nuevo paradigma de interfaz
• Interacción sin esfuerzo ni contactó físico. El cuerpo como
periférico
• Efecto escala que permite trabajar en grandes espacios la
gran motricidad y en espacios reducidos la motricidad fina
• Nuevas actividades que no requieren estar sentados frente al
ordenador
Nuevas utilidades educativas
• Trabajar la motricidad / rehabilitación
• Entornos auditivos no visuales
• Creación de entornos para el control postural, la
expresión emocional, motricidad fina y gruesa, ...

31. Perspectibas de futuro
Disponemos
• Tecnología de bajo coste
• Biblioteca de activiades educativas.
• API de programación que gestiona el control de la webcam
Proyectos de futuro
• Posibilidad de controlar 2 o mas cámaras y mas colores
• Sistema de reconocimiento de formas
• Instalaciones que incluyen camaras robotizadas y sistemas
de control

32. Interacción basada en webcam
Joaquin Fonoll jfonoll@xtec.cat
Ambrosio Gassol agassol@xtec.cat
Jordi Sanchez jordisc1@worldonline.es
http://www.xtec.cat/dnee/udc/