Se presenta la idea, de un módulo de control de robots, herramientas robóticas y/o electro-mecánicas por gestos y/o voz. Dicho módulo, consiste en una aplicación de software, capaz de interpretar órdenes de voz y/o gestuales, y llevar a cabo el control deseado.Gobernado con un asistente virtual que ayudará en el control notificando instrucciones de como usarlo, así como notificaciones de interés por voz, junto a un acceso a las cámaras conectada, todo ello bajo una interfaz gráfica minimalista.

2. MÓDULO DE RECONOCIMIENTO
GESTUAL PARA CONTROL DE
ROBOT EN TAREAS DE
ASISTENCIA
TRABAJO DE FIN DE GRADO
DEPARTAMENTO DE INGENIERÍA DE SISTEMAS Y AUTOMÁTICA
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
2

3. Datos relevantes del Trabajo de Fin de Grado
ALUMNO: David Velasco García
NIA: 100304689
TITULACIÓN: Grado en Ingeniería en Tecnologías
Industriales
INTENSIFICACIÓN: Electrónica Industrial y Automática
NOMENCLATURA DEL TFG: Módulo de reconocimiento gestual
para control de robot en tareas de
asistencia
CÓDIGO DEL TFG: TFE-C2.256-10882
TUTOR DEL TFG: Edwin Daniel Oña Simbaña
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
3

4. Índice
1. ¿Qué es el “Módulo de reconocimiento gestual para control de Robot en Tareas
de asistencia”? Pág (5-6).
2. ¿Dónde incorporarlo? Pág (7-8).
3. Estado del arte Pág (9-12).
4. ¿Cómo controlarlo? Pág (13-16).
5. Modalidades de control Pág (17-21).
6. Comunicación Pág (22-23).
7. Interfaz gráfica pág(24-28).
8. Aplicación en robot Pág (29-37).
9. Robot prototipo Pág (32-33).
10. Robot AMOR Pág (34-37).
11. Vídeo de presentación Pág (38).
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
4

5. ¿Qué es el “Módulo de
reconocimiento gestual para
control de Robot en Tareas de
asistencia”?
5

6. Ilustración 1. ¿Qué es el “Modulo de reconocimiento gestual”?
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
6

7. ¿Dónde incorporarlo?
7
Ilustración 2. ¿Dónde incorporarlo?

8. Selección de campo
8

9. Estado del Arte
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
9

10. Desarrollos con Leap Motion
10
"Análisis de
precisión y
Robustez del
Controlador Leap
Motion"
Frank Weichert,
Daniel Bachmann,
Bartholomäus
Rudak and Denis
Fisseler
Ilustración 3. Aplicación robot KUKA
Ilustración 4. Reconocimiento de objetos
Jože Guna *, Grega
Jakus, Matevž Pogačnik,
Sašo Tomažič and Jaka
Sodnik,
"An Analysis of the
Precision and Reliability
of the Leap Motion
Sensor and Its
Suitability for Static and
Dynamic Tracking"
"Pointing Task Evaluation of
Leap Motion Controller in 3D
Virtual Environment"
Joanna C.Coelho y Fons J. Verbeek
Ilustración 5. Puntero virtual

11. Comparativa IMUs
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
11
Ilustración 6. Control robot National
Instruments
Ilustración 7. Control SkyBot
National Instruments, en colaboración con Mitsubishi
Automation España
Doctor Juan González Gómez, Doctor en Robótica por la
Universidad Autónoma de Madrid
Uso del dispositivo IMU de la Nintendo WII,
concretamente en este caso el mando genérico para el
control de robots de tipo SkyBot, principalmente enfocado
al movimiento de los mismos
Uso del dispositivo IMU de la Nintendo WII, para
control de robot Mitsubishi.

12. Comparativa IMUs
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
12
Ilustración 8. Guantes de control VR
En lo referente a la tecnología de desarrollo,
ha sido probada por compañías como la NASA.
Integrando funciones conjuntas, para y de
comunicación, con plataformas, como Unreal Engine,
3D Studio Max, Maya y SolidWorks.
Los guantes de control MIDI, la información
gestual es enviada vía Wi-Fi equipada con una placa x-IMU
de x-IO Technologies.
Entre las integraciones que posee, constan,
el acelerómetro, giróscopo y un magnetómetro.
Tiene la capacidad de procesar en tiempo real datos
delos diferentes sensores de movimiento dando lugar
a la tradición del grado de flexión de los dedos, entre
otros y ser capaz de traducir e interpretar, los gestos
de manos abiertas, puños cerrados, así como demás
movimiento
Ilustración 9. Guantes de control MIDI

13. ¿Cómo controlarlo?
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
13

14. Gestos
14
Movimiento eje
X
Movimiento eje Y
Movimiento eje Z
Inclinación
vertical
Inclinación
horizontal
Inclinación
planar
Coordenadas cartesianas Inclinaciones
Tabla 2. Gestos coordenadas cartesianas
Tabla 3. Gestos de inclinaciones

15. Gestos
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
15
Apertura y cerrado de mano
Tabla 4. Gestos apertura y cerrado de mano
Gestos particulares

16. Funcionamiento general
16
Ilustración 10. Diagrama de flujo
general

17. Modalidades de control
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
17

18. Control coordenadas
cartesianas
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
18
Ilustración 11. Control coordenadas cartesianas
Ajuste del sistema de referencia del
Leap Motion respecto del sistema de
referencia del robot.
Cálculo en tiempo real de las
interpolaciones lineales de un sistema
respecto del otro.
Una vez convertidas y procesadas
son enviadas vía YARP, a la API del robot.

19. Control modo balance
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
19
Ilustración 12. Control modo balance
Volumen de esfera de radio
10 cm sobre el dispositivo será la
zona de inactividad.
Control gestual vía
coordenadas cartesianas e
inclinaciones fuera de la esfera de
inactividad.
Velocidad de movimiento, a
ganancia 1, la máxima permitida por
el sistema.

20. Control modo campo de
velocidades
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
20
Ilustración 13. Control campo de velocidades
Misma funcionalidad y
metodología que el control
vía balance, no obstante la
velocidad de control es
variable.
Ganancia modular en
función de la distancia a
punto de mínimo radio de
funcionamiento.
Ganancia máxima 1, a
radio de separación superior
a 20 cm respecto del centro.

21. Control por voz
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
21
Ilustración 14. Control por voz
Movimientos
permitidos:
- Arriba
- Abajo
- Adelante
- Atrás
- Derecha
- Izquierda
- Abre
- Cierra
- Reinicio

22. Comunicación
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
22

23. Comunicación
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
23
Ilustración 15. Comunicación

24. Interfaz gráfica
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
24

25. Interfaz gráfica
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
25
Ilustración 16. Instalación
Ilustración 17. Notificaciones de progreso
Ilustración 18. Selección de uso
- Fácil instalación, en arquitecturas 32 y 64 bits, bajo sistema
Windows.
- Barras de progreso informativas.
- Modalidad de control usuario y avanzado.
- Instrucciones visuales.

26. Interfaz gráfica II
26
Ilustración 19. Análisis de información gestual
Ilustración 20. Optimización y mejora de precisión
Muestra de control,
y parámetros en modo
prueba.
- Parámetros de control
capturados por
pantalla.
- Estado de apertura y
cerrado.
- Tipo de movimiento
detectado.
Muestra de control,
y parámetros en modo
prueba avanzado.
- Muestra de posición de
los dedos capturados.
- Muestra de las
inclinaciones de las
articulaciones
capturadas.
- Tipo de movimiento
detectado.

27. Interfaz gráfica III
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
27
Ilustración 21. Control de cámaras
Control de cámaras
de la red para
mantenimiento y mejora
de la seguridad del
entorno.
- Cámaras IP.
- Webcam externas.
- Webcam internas.
- Cámaras robot.

28. Interfaz gráfica IV
28
Ilustración 22. Control completo
Ilustración 23. Simulador RobotStudio
El control de usuario
incluye:
- Control completo con las tres
modalidades por gestos.
- Control por voz.
- Notificaciones de instrucción y
advertencias sonoras.
- Control de cámaras
- Muestra por pantalla de
parámetros y movimientos
capturados.
Simulador RobotStudio con
plugin de control Leap Motion
embebido.

29. Aplicación en robot
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
29

30. Robot Prototipo
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
30

31. Diseño y montaje
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
31
Diseño y
modelado, del robot
prototipo, en planos
isométricos, diédricos
y 3D.
Ilustración 24. Planos de diseño

32. Diseño y montaje
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
32
Ensamblado del
brazo robótico tipo
manipulador de 6 DOF por
servomotor, control vía
placa Arduino UNO R3.
Ilustración 25. Ensamblado de robot prototipo Ilustración 26. Placa de control Arduino UNO R3

33. Pruebas de control
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
33
Ilustración 27. Pruebas de control robot prototipo
Pruebas de control:
1.Control vía coordenadas cartesianas, el cual
permite el control de los tres primeros
servomotores asociados a las posiciones X,Y y Z, así
como la pinza.
2. Control vía cartesianas 6 DOF, permite el control
de los 6 grados de libertadas, los tres servomotores
previos más el control de la inclinación vertical y
horizontal.
3. Control incremental, permite un control por
comparativa incrementando o decrementado los
grados pre-configurados, pensado como inicio de
campo de velocidades e ideal para un grado de
dificultad de movilidad elevado.
4. Control incremental telemático, semejante al
previo pero con envíos inalámbricamente.
5.Control por voz, incremental, semejante al 4 y 5,
pero con órdenes por voz.

34. Robot AMOR
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
34

35. Entorno de adaptación
35
Ilustración 28. Adaptación del entorno
Ilustración 29. Adaptación del entorno 2 Ilustración 30. Adaptación del entorno 3
Fácil adaptación en entornos
domésticos.
- Sillas de ruedas/muletas/carros de
movilidad.
- Encimeras.
- Mesillas.
- Servicios.

36. Pruebas de control
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
36
Ilustración 31. Tarea de apertura de microondas
Mediante la ejecución de las tareas
asistenciales, aplicamos el proceso implementado a
lo largo del proyecto, el cual os permite el control
por medios gestuales, y orientarlo a un control
asistencial, a partir del cual permitir, a personas
con movilidad reducida un control más cercano con
el cual mejorar la calidad de vida.
- Apertura y cerrado de microondas, programación y
desplazamiento de objetos pequeños.

37. Pruebas de control
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
37
Ilustración 32. Tareas de control
Procesos de control del módulo con
ejecución de el control cartesiano, balance y campo
de velocidades con cartesianas e inclinaciones y
giros YAW, PITCH,ROLL, más control de la garra.
Mediante un control de pruebas, además de
realizar las comprobaciones de seguridad de
recepción correcta de todos los parámetros así como
de la comunicación, se permite una mejora de la
precisión comprobado el rango de resolución de los
parámetros así como de la movilidad de la mano con
respecto al movimiento final.

38. Vídeo de presentación
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
38

40. Muchas gracias!
Módulo de reconocimiento gestual para control de robot en tareas de asistencia |
Universidad Carlos III de Madrid
40