El documento describe las capacidades de reconocimiento de ademanes, voz y objetos de un robot. Explica cómo el robot puede reconocer ademanes mediante el seguimiento de manos y la extracción de características, reconocer comandos de voz usando herramientas estándar de síntesis y reconocimiento de voz, y reconocer objetos almacenando y emparejando características visuales. También detalla la capacidad del robot para identificar personas basada en el reconocimiento de siluetas usando visión estéreo.

1. Ven Atención Derecha Izquierda Alto

2. Reconocomiento de ademanes Extracción de características Modelado Reconocimiento Imagenes EC Carateríst. R M Ademanes

3. Seguimiento y Ejecución de Comandos Localiza cara y mano Seguimiento de la mano

4. Características de postura y movimiento (0,0) x y Image t . . y ' x '  a = 0  x = +  y = – form = + Image t+1 Above Right Torso

5. Reconocimiento Ademanes Seguimiento de la mano Control por gestos

6. Síntesis y reconocimiento de voz Usamos herramientas estándar: Festival para síntesis y Sphinx para reconocimiento con el corpus para Español desarrollado en el proyecto Dimex Para mejorar el reconocimiento, incorporamos modelos probabilistas de lenguaje obtenidos de ejemplos de interacciones en las diferentes aplicaciones ( Mago de Oz ) Para mejorar la señal incorporamos un micrófono direccional y un filtro

7. Interfaz Amigable A través de su cara animada, Markovito puede expresar diversas emociones, lo que facilita la comunicación

8. Reconocimiento de Objetos Se enseña un nuevo objeto al robot quien obtienen sus características SIFT y guarda un nombre dado con voz El robot después busca el objeto que se pide por voz empatando características SIFT de los objetos que ve

9. Identificación de personas Basada en el reconocimiento de siluetas Segmentación con base en distancia usando la cámara estéreo Identifica personas paradas, sentadas, de frente y de perfil

10. Detección de rostros