Gesture recognition module for robot control in assistance tasks

UNIVERSIDAD CARLOS III DE MADRID
ESCUELA POLITÉCNICA SUPERIOR
LEGANÉS

Universidad Carlos III de Madrid | 1. Introducción y objetivos 2
MÓDULO DE RECONOCIMIENTO GESTUAL PARA
CONTROL DE ROBOT EN TAREAS DE ASISTENCIA
TRABAJO DE FIN DE GRADO
DEPARTAMENTO DE INGENIERÍA DE SISTEMAS Y AUTOMÁTICA

Datos relevantes del Trabajo de Fin de Grado
ALUMNO:
NIA:
TITULACIÓN:
INTENSIFICACIÓN:
NOMENCLATURA DEL TFG:
CÓDIGO DEL TFG:
TUTOR DEL TFG:
David Velasco García
100304689
Grado en Ingeniería en Tecnologías
Industriales
Electrónica Industrial y Automática
Módulo de reconocimiento gestual para
control de robot en tareas de asistencia
TFE-C2.256-10882
Edwin Daniel Oña Simbaña.
NOTA:
En la versión digital en PDF, se ha
agregado un sistema de hipervínculos para facilitar
la lectura y acceder desde el índice a la sección
deseada.

Índice
1. Introducción y objetivos .......................................................................................................... 15
1.1 Introducción y marco del proyecto ....................................................................................... 15
1.2 Planteamiento del problema ................................................................................................. 16
1.3 Objetivos ............................................................................................................................... 18
2. Estado del arte...................................................................................... ................................. 21
2.1 Antecedentes históricos del proyecto .................................................................................. 21
2.1.1 Historia de la robótica ........................................................................................................ 22
2.1.2 Tipología de los sistemas robóticos industriales ................................................................ 23
2.1.3 Simuladores de sistemas robóticos .................................................................................... 25
2..1.4 Comparativa campos de investigación con Leap Motion en la actualidad ....................... 27
2.2 Control compartido de robots en tareas de asistencia ......................................................... 30
2.3 Recursos utilizados ................................................................................................................ 31
2.3.1 Hardware ............................................................................................................................ 31
2.3.2 Software ............................................................................................................................. 45
2.5 Comparativa IMUs en la actualidad ...................................................................................... 57
2.5.1 IMU NINTENDO WII ............................................................................................................ 57
2.5.2 Guantes de control VR ....................................................................................................... 59
2.6 Dispositivo Oculus Rift ........................................................................................................... 60
2.7 Análisis de la API .................................................................................................................... 61
2.7.1 Componentes principales de la API .................................................................................... 62

3.Desarrollo del trabajo de fin de grado ..................................................................................... 71
3.1 Fases de desarrollo ................................................................................................................ 71
3.1Definición de gestos de control ............................................................................................. 72
3.1.1 Control cartesiano .............................................................................................................. 76
3.1.2 Control campo de velocidades ........................................................................................... 79
3.1.3 Control por voz ................................................................................................................... 79
3.2 Desarrollo de interfaz de control .......................................................................................... 80
3.2.1 Desarrollo aplicación general ........................................................................................... 112
3.2.2 Desarrollo controlador YARP ............................................................................................ 113
3.2.3 Desarrollo aplicación prototipo ......................................................................................... 117
3.2.4 Desarrollo controlador Arduino ....................................................................................... 118
3.3 Implementación de control y comunicación ....................................................................... 126
3.3.1 Control de Robot Prototipo .............................................................................................. 127
3.3.1 Control de Robot AMOR ................................................................................................... 153
3.4 Diseño y desarrollo del Robot Prototipo ............................................................................. 158
3.4.1 Requerimientos de Hardware. ......................................................................................... 158
3.4.2 Montaje de Hardware. ..................................................................................................... 161
3.4.3 Conexionado de Hardware. .............................................................................................. 165
4.Resultados .............................................................................................................................. 170
4.1 Robot prototipo ................................................................................................................... 170
4.2 Robot AMOR........................................................................................................................ 172
5. Marco regulador y entorno socio‐económico ....................................................................... 177

5.1Marco regulador .................................................................................................................. 177
5.1.1 Análisis legislativo ............................................................................................................ 177
5.1.2 Estándares técnicos. ........................................................................................................ 178
5.1.3 Propiedad intelectual. ...................................................................................................... 179
5.2 Entorno socio‐económico. ................................................................................................. 180
5.2.1 Presupuesto de elaboración. ........................................................................................... 180
5.2.2 Impacto socio‐aconómico. ............................................................................................... 182
6. Conclusiones y líneas futuras ................................................................................................ 188
7.Bibliografía ............................................................................................................................. 190
Anexos ....................................................................................................................................... 195
Anexo 1. Ejemplos de uso ......................................................................................................... 195
Anexo 2. Planos de diseño ........................................................................................................ 196
Anexo 3. Código de desarrollo de interfaz ................................................................................ 196
Anexo 4. Código de control robot prototipo ............................................................................. 205
Anexo 5. Código de control robot AMOR .................................................................................. 211
Anexo 6. Código de control API Arduino ................................................................................... 245
Anexo 7. Código de control YARP .............................................................................................. 249

i. Listado de tablas empleadas
Tabla 4 ‐ Dimensiones Leap Motion ............................................................................................ 33
Tabla 5 ‐ Análisis de consumo ..................................................................................................... 38
Tabla 6 ‐ Resistencia de carga media .......................................................................................... 39
Tabla 13 ‐ Requisitos mínimos SDK Leap Motion ........................................................................ 46
Tabla 14 ‐ Requisistos recomendados SDK Leap Motion ............................................................ 47
Tabla 15 ‐ Hardware Empleado ................................................................................................... 48
Tabla 7 ‐ Oculus Rift Datasheet ................................................................................................... 60
Tabla 8 ‐ Unidades de medida ..................................................................................................... 61
Tabla 9 ‐Objeto Controller........................................................................................................... 62
Tabla 10 ‐ Acceso a parámetros .................................................................................................. 64
Tabla 1 ‐ Órdenes de control por voz .......................................................................................... 73
Tabla 2 ‐ Movimientos permitidos campo de velocidades ......................................................... 75
Tabla 3 ‐ Control pinza ................................................................................................................ 75
Tabla 11 ‐ Parámetros de trabajo Leap Motion .......................................................................... 77
Tabla 12 ‐ Parámetos servomotor ............................................................................................... 78
Tabla 16 ‐ Control incremental ................................................................................................. 131
Tabla 17 ‐ Entorno de trabajo ................................................................................................... 132
Tabla 18 ‐ Equilibrio de servomotores ...................................................................................... 133
Tabla 19 ‐ Interpolaciones robot Prtotipo ................................................................................. 135
Tabla 20 ‐ Control final rango .................................................................................................... 138
Tabla 21 ‐ Equilibrio servomotores final ................................................................................... 139
Tabla 22 ‐ Interpolaciones lineales finales ................................................................................ 144
Tabla 23 ‐ Listado de componenetes ........................................................................................ 159
Tabla 24 ‐ Conexionado electrónico servomotores .................................................................. 166
Tabla 25 ‐ Conexionado ............................................................................................................. 167
Tabla 26 ‐ Presupuesto básico ................................................................................................... 181
Tabla 27 ‐ Presupuesto robot Prototipo ................................................................................... 182
Tabla 28 ‐ Presupuesto completo .............................................................................................. 182
ii. Listado de gráficos empleados
Gráfico 1 ‐ Potencia demandada ................................................................................................. 39
Gráfico 2 ‐ Resistencia de carga .................................................................................................. 40
Gráfico 3 ‐ Comparativa de rangos de medida ......................................................................... 132
Gráfico 4 ‐ Comparativa rangos de valores ............................................................................... 133
Gráfico 5 ‐ Interpolación eje x ................................................................................................... 133
Gráfico 6 ‐ Interpolación eje y ................................................................................................... 134
Gráfico 7 ‐Interpolación eje Z .................................................................................................... 135
Gráfico 8 ‐ Interpolación garra .................................................................................................. 136

Gráfico 9  ‐Rango de medida final ............................................................................................. 139
Gráfico 10 ‐ Comparativa interpolaciones lineales ................................................................... 140
Gráfico 11 ‐ Interpolaciones lineales definitivas ....................................................................... 144
iii. Listado de ecuaciones empleadas
Ecuación 1 ‐ Interpolación Lineal ................................................................................................ 77
Ecuación 2 ‐ Eje X ........................................................................................................................ 77
Ecuación 3 ‐ Eje Y ......................................................................................................................... 77
Ecuación 4 ‐ Eje Z ......................................................................................................................... 78
Ecuación 5 ‐ Garra ....................................................................................................................... 78
Ecuación 6 ‐ Conversión a grados................................................................................................ 81
iv. Listado de ilustraciones empleadas
Ilustración 1 ‐ Áreas de convergencia ......................................................................................... 22
Ilustración 2 ‐ Autómata de Herón de Alejandría ....................................................................... 23
Ilustración 3 ‐ Caballero mecánico de Da Vinci ........................................................................... 23
Ilustración 4 ‐ Robot ABB ............................................................................................................ 23
Ilustración 5 ‐ Robot Amazon ..................................................................................................... 24
Ilustración 6 ‐ Robot Androide .................................................................................................... 23
Ilustración 7 ‐Robot Zoomorfico ................................................................................................ 25
Ilustración 8- Simulador Robotstudio ......................................................................................... 26
Ilustración 9 ‐ Impementación en robot KUKA ........................................................................... 27
Ilustración 10 ‐ Reconocimiento de objetos ............................................................................... 28
Ilustración 11 ‐ Inteacción virtual Leap Motion .......................................................................... 28
Ilustración 12 ‐ Dispositivo Leap Motion ..................................................................................... 32
Ilustración 13 ‐ Modelo Oseo 3D ................................................................................................. 23
Ilustración 14 ‐ Oculus rift ........................................................................................................... 32
Ilustración 15 ‐ Vista explosionada Leap Motion ........................................................................ 33
Ilustración 16 ‐ Dimensiones Leap Motion ................................................................................. 34
Ilustración 17 ‐ Componentes Leap Motion ................................................................................ 34
Ilustración 18 ‐ Hardware Leap Motion ...................................................................................... 36
Ilustración 19 ‐ Cálculo de ángulo ............................................................................................... 36
Ilustración 20 ‐ Campo de trabajo ............................................................................................... 37
Ilustración 21 ‐ Captura de cámaras ........................................................................................... 41
Ilustración 22 ‐ Campos de distorsión ......................................................................................... 42
Ilustración 23 ‐ Mallado de distorsiñon compleja ....................................................................... 42
Ilustración 24 ‐ Sistemas esteroscópicos..................................................................................... 43

Ilustración 25 ‐ SDK Leap Motion ................................................................................................ 49
Ilustración 26 ‐ Leap Morion APP Home ..................................................................................... 50
Ilustración 27 ‐ Configuración del dispositivo ............................................................................. 51
Ilustración 28 ‐ Prueba preliminar de funcionamiento ............................................................... 51
Ilustración 29 ‐ FPS de funcionamiento ...................................................................................... 52
Ilustración 30 ‐ Leap Motion Visualizer ....................................................................................... 52
Ilustración 31 ‐ Compatibilidaddes e lenguaje ............................................................................ 53
Ilustración 32 ‐ Desarrollo de la aplicación en C# ....................................................................... 53
Ilustración 33 ‐ Configuración de librerias .................................................................................. 54
Ilustración 34 ‐ Configuración del proyecto ................................................................................ 55
Ilustración 35 ‐ Configuración arquitectura ................................................................................ 56
Ilustración 36 ‐ IMU Nintendo WII .............................................................................................. 57
I lustración 37 ‐ Control WII Robot National Instruments .......................................................... 59
Ilustración 38 ‐ Controlmando WII Skybot .................................................................................. 58
Ilustración 39 ‐ Guantes de control VR ....................................................................................... 59
Ilustración 40 ‐ Guante MIMU ..................................................................................................... 60
Ilustración 41 ‐ Oculus Rift .......................................................................................................... 60
Ilustración 42 ‐ Sistema de referencias Leap Motion .................................................................. 61
Ilustración 43 ‐ Objeto Listener ................................................................................................... 63
Ilustración 44 ‐ Parámetros de acceso ........................................................................................ 64
Ilustración 45 ‐Componente HandList ......................................................................................... 65
Ilustración 46 ‐ Componente Hand ............................................................................................. 65
Ilustración 47 ‐ Traking 3D .......................................................................................................... 66
Ilustración 48 ‐ Modelo FingerList ............................................................................................... 66
Ilustración 49 ‐ Objeto Finger ...................................................................................................... 67
Ilustración 50 ‐ Componente Hand ............................................................................................. 67
Ilustración 51 ‐ Modelos Oseos 3D ............................................................................................. 68
Ilustración 52 ‐ Objeto Bone ....................................................................................................... 68
Ilustración 53 ‐ Componente Arm ............................................................................................... 69
Ilustración 54 ‐Ejecucción control por voz ................................................................................. 80
Ilustración 55 ‐ Obtención de parametros y muestra por pantalla............................................. 81
Ilustración 56 ‐ Conversión de unidades ..................................................................................... 82
Ilustración 57 ‐Desarrollo del entorno gráfico 1 ......................................................................... 82
Ilustración 58 ‐ Escucha de eventos ............................................................................................ 83
Ilustración 59 ‐ Entorno gráfico versión 2 ................................................................................... 86
Ilustración 60 ‐ Mejora de parámetros ....................................................................................... 88
Ilustración 61 ‐ Desarrollo entorno gráfico versión 2 ................................................................. 89
Ilustración 62 ‐ Entorno modular ................................................................................................ 90
Ilustración 63 ‐ Desarrollo de logos api ....................................................................................... 92
Ilustración 64 ‐ Barra de carga versión 1 ..................................................................................... 93
Ilustración 65 ‐ Mejoras versión ... .............................................................................................. 98
Ilustración 66 ‐ Muestra de datos capturados .......................................................................... 102
Ilustración 67 ‐ Desarrollo gráfico definitivo ............................................................................. 105
Ilustración 68 ‐ Control de cámaras fusionado ......................................................................... 109
Ilustración 69 ‐ Conexión con simulador RobotStudio .............................................................. 111

Ilustración 70 ‐ Diagrama de flujo general ................................................................................ 112
Ilustración 71 ‐ Instalación YARP ............................................................................................... 114
Ilustración 72 ‐ Diagrama de flujo YARP .................................................................................... 115
Ilustración 73 ‐ Diagrama de flujo robot prototipo ................................................................... 117
Ilustración 74 ‐ Diagrama de flujo Arduino ............................................................................... 119
Ilustración 75 ‐ Uso del simulador Xppader .............................................................................. 121
Ilustración 76 ‐ Servidor NAS ..................................................................................................... 122
Ilustración 77 ‐ Simulador Processing ....................................................................................... 122
Ilustración 78 ‐ Sistemas de referencia ..................................................................................... 126
Ilustración 79 ‐ Códgo de control prototipo .............................................................................. 130
Ilustración 80 ‐ Interpolaciones finales ..................................................................................... 138
Ilustración 81 ‐ Control por voz ................................................................................................. 147
Ilustración 82 ‐ Interpolaciones Amor ....................................................................................... 154
Ilustración 83 ‐ Gráfico interpolación eje X ............................................................................... 154
Ilustración 84 ‐ Gráfico Interpolación eje Y ............................................................................... 155
Ilustración 85 ‐ Gráfico interpolación eje Z ............................................................................... 156
Ilustración 86 ‐ Inerpolaciones robot AMOR ............................................................................. 156
Ilustración 87 ‐ Gráfico interpolación Pinza .............................................................................. 156
Ilustración 88 ‐ Listado de componentes .................................................................................. 160
Ilustración 89 ‐ Proceso de montaje ......................................................................................... 164
Ilustración 90 ‐ Placa Arduino Uno ........................................................................................... 165
Ilustración 91 ‐ Conexionado electrónico ................................................................................. 168
Ilustración 92 ‐ Control por voz ................................................................................................. 171
Ilustración 93 ‐ Control robot prototipo 6 DOF ......................................................................... 171
Ilustración 94 ‐ Listado de tareas asistenciales ......................................................................... 172
Ilustración 95 ‐ Tarea asistencial 1 ............................................................................................ 173
Ilustración 96 ‐ Apertura de puertas ......................................................................................... 173
Ilustración 97 ‐ Adaptación Leap Motón a) ............................................................................... 174
Ilustración 98 ‐ Adaptación Leap Motion dormitorio ............................................................... 175
Ilustración 99 ‐ Modelo de negocio CANVAS ............................................................................ 183
Ilustración 100 ‐ Variaciones año 2016/2017 ........................................................................... 184
Ilustración 101 ‐Modelo e negocio CANVAS Innovación .......................................................... 185
Ilustración 102 ‐Distribución origen electricidad ..................................................................... 186
Ilustración 103 ‐ Ejemplos de uso ............................................................................................. 195

Agradecimientos
En lo referente a este apartado, me gustaría realizar un breve análisis orientado al desarrollo
del “Módulo de reconocimiento gestual para el control de robot en tareas de asistencia”, desde un
punto de vista más personal.
Me parece apropiado, comenzar la exposición de la memoria desde un índole
más sentimental, a pesar de ser consciente de que al tratarse de una memoria técnica, lo
fundamental sería un desarrollo objetivo y centrado en el mismo.
Sin embargo, no parece oportuno, atribuirme la elaboración del mismo, sin realizar una serie
agradecimientos de manera escrita, para todos aquellos que han contribuido o colaborado con el
desarrollo del documento.
Ante todo, me gustaría agradecer a mis familiares el apoyo brindado, pero no solamente
con el desarrollo del trabajo del fin de estudios, sino todo aquello que sin ser académico,
a mi entender es lo más importante, la fortaleza, al afán de superación, el ánimo en los
momentos complicados, la comprensión, componentes que por separado causan un efecto
positivo, pero que en conjunto pueden ser muy poderosos.
Así que muchas gracias a mi padre, mi madre y mi hermana.
Agradecer, a todos aquellos que me gustaría que a día de hoy pudieran leer este documento,
pero desgraciadamente, no podrá ser, gracias Abuelo.
No quiero dejar a aparte a ningún familiar, pero no es cuestión de encadenar nombres, así
que, muchas gracias Familia.
No olvidarme, de ese apoyo un poco alocado que siempre me han podido facilitar en los
momentos difíciles mis grandes amigos Jesús y Héctor.
Por último, me gustaría agradecer debido al gran apoyo académico y profesional,
aportado por cada uno de los profesores de la Universidad Carlos III de Madrid, sin los cuales,
no podría haber realizado dicho proyecto, pero en especial a mi tutor Edwin, y a los técnicos
del Parque Tecnológico, Jorge y Bartek, por los conocimientos, los recursos y el apoyo facilitado,
sin los cuales este proyecto no habría podido ser posible.

Acknowledgment
With regard to this section, I would like to make a brief analysis oriented to the development
of the "Module of gestural recognition for robot control in assistance tasks", from a more personal
point of view.
It seems to me appropriate to begin the exposition of memory from a more sentimental
nature, despite being aware that, being a technical memory, the fundamental thing would be an
objective and focused development.
However, it does not seem opportune, to attribute the elaboration of the same, without
making a series thanks in writing, for all those who have contributed or collaborated with the
development of the document.
First of all, I would like to add to my family members the support provided, but not only with
the development of the work of the end of studies, but everything that without being academic, in
my opinion is the most important, the strength, The mood in the complicated moments, the
understanding, components that separately cause a positive effect, but that altogether can be very
powerful.
So thank you so much to my Dad, my Mom and my sister.
To thank, to all those who would like to read this document today, but unfortunately, it can
not be, thanks Grandpa.
I do not want to leave aside any family, but it is not a matter of stringing names, so, thank
you Family.
Not to forget, that support a little crazy that I have always been able to facilitate in difficult
times my great friends Jesus and Hector.
Finally, I would like to thank you for the great academic and professional support provided by
each of the professors of the Carlos III University of Madrid, without whom I could not have done
this project, but especially my tutor Edwin, and the Technicians of the Technological Park, Jorge
and Bartek, for the knowledge, the resources and the facilitated support, without which this
project could not have been possible.

Resumen
La innovación y el desarrollo tecnológico, suelen estar ligadas al crecimiento económico de un país, tal
efecto, en múltiples ocasiones afecta a un desarrollo orientado al beneficio económico, dejando en un
segundo plano un enfoque más humanitario. Por ello, a partir del módulo de reconocimiento gestual,
presentado en el documento, trataremos de orientar la innovación tecnológica en el campo del apoyo
asistencial, facilitando a personas con discapacidad y mayores, una mejora de calidad de
vida, permitiéndoles mayor autonomía en su día a día.
A través del módulo, se ofrecerá un apoyo, en el cual el propio individuo, será el encargado de
interactuar, permitiendo en un entorno habilitado, mediante el uso de un robot asistencial, y controlar al
mismo, por imitación de su mano, facilitando un amplio control, unido a un control simultaneo por voz y
notificaciones sonoras, así como un asistente virtual, que ofrezca apoyo en tiempo real.
Palabras clave
Leap motion, C#, C, C++, Visual Studio 2015, YARP, Arduino, Robot, Servomotor, Interpolación
lineal, campo de velocidades, Windows form, Aforge, Control por voz, Asistencial, ABB, AMOR,
prototipo, 6 dof, YAW, PITCH, ROLL, Cartesianas, notificaciones de voz, Entorno gráfico, Diseño para
todos, Accesibilidad.
Abstract
Innovation and technological development are often linked to the economic growth of a country,
the effect is often an economic development oriented to economic benefit, leaving in the background a
more humane approach. For this reason, based on the module of gestural recognition, presented in the
document, treatments of technological innovation in the field of care support, facilitating people with
disabilities and elderly, an improvement in quality of life, allowing them greater autonomy in their day.
day
Through the module, a support is offered, in which the individual himself is in charge of
interacting, allowing in an enabled environment, through the use of a care robot, and control the same, by
imitating his hand, facilitating A comprehensive control, combined with simultaneous voice control and
sound notifications, as well as a virtual assistant, offering real-time support.
Keywords
RecognitionLeap Motion C # C ++ C ++ Visual Studio 2015 YARP Arduino Robot Servo Motor
Linear Interpolation Speed Form Windows Form Aforge Voice Control Assisting ABB LOVE Prototype 6
Dof YAW, PITCH, ROLL, Cartesian, voice notifications, Graphic environment, Design for all,
Accessibility.

Introducción y objetivos

1. Introducción y objetivos
En el presente trabajo de fin de grado, en adelante, nombrado como T.F.G, se muestra el diseño y
desarrollo de un módulo de reconocimiento gestual para control de robot en tareas de asistencia.
Para el siguiente estudio, se llevará a cabo lo primero de todo, un análisis acerca de los casos
actuales de actuación de los módulos de reconocimiento de gestos, en el campo de la robótica, así como
un breve estudio de la robótica en la actualidad, incluyendo, cual ha sido la evolución de la misma en los
años cercanos y lejanos a la misma.
A su vez, una vez concluido, el análisis del medio en el que se encuentra la robótica, y el campo en
concreto en el que se centrará el estudio, se procederá con la elaboración del estudio en sí, incluyendo,
el desarrollo de software de interacción, para mediante el uso de diversos componentes tecnológicos,
llevar a cabo, el desarrollo de un módulo de reconocimiento gestual, para el control de robots, mediante
gestos.
Cabe destacar, previo al desarrollo del mismo, que, aunque la finalidad denominada, es de tareas de
asistencia, lo cual a priori, suele relacionarse con asistencia de procesos industriales, permite abarcar un
campo más amplio dado, que la aplicación, no se ve limitada, a ese campo, sino que puede abarcar el
campo deseado, aunque su aplicación es multidisplinar, los ejemplos de uso estarán asociados a la
asistencia sanitaria, así como el apoyo a través de la robótica asistencial.
1.1 Introducción y marco del proyecto
El desarrollo del proyecto, se encontrará orientado a un apoyo asistencial, desde un punto de vista
robótico, concretamente, el campo aplicado de la misma, será el de la robótica asistencial, sin embargo,
se trata de un módulo de reconocimiento gestual multidisciplinar, cuyas capacidades lo permiten
adaptarse a cualquier uso que requiera tanto control por gestos como por voz.
A su vez, facilito link, para descarga u observación online de las aplicaciones desarrolladas:1
Dado que se trata de un código extenso, y que el desarrollo completo puede llegar a ser
excesivo, esta es la versión reducida, de la cual se ha extraído el código fuente como listado.
1
https://github.com/davidvelascogarcia

Universidad Carlos III de Madrid | 1.2 Panteamiento del problema 16
1.2 Planteamiento del problema
En los últimos años, la tecnología se ha visto enormemente desarrollada, a pesar de darse un breve
periodo temporal, no obstante, incluso en tales circunstancias, algunas áreas, no se encuentran
tan avanzadas como otras, por ello, a partir del módulo de reconocimiento gestual, presentado
en el documento, trataremos de orientar la innovación tecnológica en el campo del apoyo
asistencial, facilitando a personas con discapacidad y mayores, una mejora de calidad de vida,
permitiéndoles mayor autonomía en su día a día.
A través del módulo, se ofrecerá un apoyo, en el cual el propio individuo, será el encargado de
interactuar, permitiendo en un entorno habilitado, mediante el uso de un robot asistencial, y controlar
al mismo, por imitación de su mano, facilitando un amplio control, unido a un control simultaneo por
voz y notificaciones sonoras, así como un asistente virtual, que ofrezca apoyo en tiempo real.
Como se puede observar, el módulo permite su ejecución de manera multidisciplinar, permitiendo
su ejecución para múltiples finalidades, tales como, apoyo doméstico a personas con minusvalía física,
así como adaptación gradual, con problemas de visión.
Por otro lado, permite su ejecución en el campo de las comunicaciones y transporte, dado que se ha
habilitado su control de forma telemática, permitiendo lo mismo, su alcance, en campos militares, de
industria y fabricación asistida, así como en medicina, con ejemplos como asistencia sanitaria
telemática, en enfermería, cirugía o urgencias entre otras.
No obstante, el caso práctico para el cual se va a mostrar su ejecución, será el campo de el apoyo
asistencial doméstico, en personal con dificultad de movilidad.
A partir del módulo, con el acople del dispositivo Leap Motion, en el apoyo actual, tal como silla de
ruedas, muletas o similares, el destinatario será capaz de mover por imitación un brazo robótico, el cual
simulará los movimientos del individuo en cuestión, en tiempo real, permitiendo, la asistencia de
manera conjunta con el movimiento del susodicho, incluyendo en la misma distintas modalidades, tales
como un control cartesiano del movimiento del brazo y la mano, incluyendo las distintas inclinaciones
de la muñeca, así como estado de cerrado o apertura.
A su vez, consta con un modo de control por balance, dícese, en esta modalidad de que el
individuo, contará con una esfera de alrededor de 20 cm de diámetro de equilibrio, en la cual no habrá
captura de movimiento, y tras salir de dicho radio, al superarlo, podrá ejecutar el módulo, como si de
una balanza se tratará, inclinando la mano a la derecha, desplazará el robot a la derecha, hacia adelante,
inclinará hacia adelante el robot, e incorporando esta modalidad, para todos los ejes y sentidos,
permitiendo todos los movimientos de forma simultanea y compatibilizada con las inclinaciones de la
muñeca.
Por otro lado, destacar que se ha habilitado un campo de velocidades como tercera opción sobre el
caso 2, para que el individuo sea capaz de controlar la velocidad con la que se desplazará el robot, con
un rango variable, a mayor velocidad a mayor radio de elección. A través del mismo, en caso de
enfrentarse a un mayor grado de complicación debido a una mayor restricción de movimiento, se ha
implementado un sub-módulo secundario y simultaneo, vía control

Universidad Carlos III de Madrid | 1.2 Panteamiento del problema 17
por voz, a través del cual, el destinatario es capaz de mover el brazo robótico, por control de órdenes por
voz.
La ejecución del módulo de control por voz, se implementará de forma simultanea, con el
movimiento físico del individuo, permitiéndole opciones tales como mover el brazo, y en caso de tener
dificultades, por ejemplo, de apertura y cerrado de su mano, controlarlo por voz.
A su vez, para tener en cuenta, posibles situaciones de dificultad de escucha o problemas auditivos
del destinatario, así como visuales, el módulo cuenta, con una adaptación leve para estas
discapacidades, notificando, todas las ejecuciones que realiza, ejemplos de cómo llevar a cabo el control
del módulo, como mover el robot, así como explicaciones formativas previas a su uso.
Por otro lado, el módulo, notifica, situaciones críticas en cuanto a la posición de brazo, tales,
como próximo a sus limites en los ejes X, Y, Z, así como las inclinaciones verticales y horizontales,
incluyendo notificaciones previas a la ejecución por voz a realizar, y estado de cerrado o apertura de la
pinza, intentando llevar a cabo una mecánica de desarrollo, tal que fuera “Diseño para todos”,
permitiendo la accesibilidad y manejo del módulo, para cualquier individuo que lo desee, sin necesidad
de requerimientos técnicos.
Destacar, que el susodicho módulo consta de una capacidad de análisis de posición tal que permite
recrear el control y movimiento en posiciones cartesianas X, Y, Z, de la posición, así como
las inclinaciones YAW, PITCH, ROLL, para la inclinación de la mano vertical y horizontal, así
como el cerrado y apertura de la mano.
Para concluir, comentar, que el ejemplo de uso se llevará a cabo con dos robot reales, tanto el robot
AMOR, orientado al apoyo asistencial, localizado en el Parque Científico y Tecnológico de Leganés en
el laboratorio de Robótica Asistencial, así como un pequeño prototipo, diseñado, modelado,
ensamblado, y programado de manera complementaria por mi persona, con la intención de tratar el
TFG, con vistas evolutivas, de forma empresarial, intentando recrear todas la etapas evolutivas del
proceso de fabricación y pruebas en simuladores, prototipos y finalmente en robot real, aplicando
Ingeniería Concurrente y modular, con el fin de minimizar costes y tiempos de proceso.
A su vez, tanto en la aplicación desarrollada en el apartado de ejemplos de uso, como en el link
adjunto, se pueden observar algunas de las grabaciones evolutivas del desarrollo del proyecto,
almacenadas en el servidor de la plataforma YouTube, con el fin de facilitar la accesibilidad a los
mismos.
Por último comentar, que el módulo, en sus pruebas, se ejecutará con un robot, de plataforma fija,
no obstante, es compatible con un robot en movimiento, es decir, dícese, del que se encuentre con un
ensambla miento de motores y ruedas que permitan al robot moverse respecto del suelo de
manera relativa, mientras que el control del brazo es independiente, aplicable al ejemplo de un
conjunto de ruedas de dirección el robot, y control por joystitck de la posición de referencia del robot.
A su vez, la nomenclatura del mismo, converge y diverge en el mismo nombre, es decir, el campo
de aplicación es ilimitado, dado que las tareas de asistencia, pueden ser entendidas en diversas áreas,
tales como la intuitiva, el área ingenieril, mediante la asistencia de procesos industriales, tales como,
robots de células flexibles de montaje, tratamiento, ensamblado, pallet izado, pintura…., es decir, áreas
relacionadas con la producción, pero no por ello limitado al mismo, ejemplos, tales como medicina

Universidad Carlos III de Madrid | 1.3 Objetivos 18
aplicados a tareas de ayuda en hospitales, ámbitos variados y extensos que pueden abarcar desde
operaciones robotizadas, hasta asistencia de ayuda a pacientes.
Extrapolando su uso, llegaría a campos tales como la seguridad, mediante la manipulación o
des-activación de elementos de alto riesgo, permitiendo el control humano, pero la seguridad de
la integridad humana por el área robótica.
En conclusión, se puede observar, que el campo de trabajo es extenso por sí mismo, por ello,
empleado dicho uso, y por relación al área, sobre el que se abarca dicho T.F.G, así como la titulación
sobre la que se presenta, el campo de estudio y aplicación principal será el del campo industrial,
orientado en si a la asistencia doméstica, permitiendo no obstante su uso en cualquier otro campo a
pesar que el ejemplo sobre el que se presenta sea el pronunciado.
Por consiguiente, podría concluirse, que el problema principal de este proyecto, no es el proyecto
en sí, sino su campo de aplicación que al ser demasiado extenso, en una primera visión es posible que
no se pueda enfocar o “encasillar” dentro de un área en cuestión, por ello, ante el amplio abanico
de posibilidades en las cuales orientar lo, se ha decidido, ejecutar sus pruebas en el área de
la robótica asistencial, que aún siendo consciente de que la elaboración de la memoria debería
de ser lo más objetiva posible, comentar, que en mi caso, considero, que quizá este sería o
debería de ser uno de los primeros sectores en los cuales implementarlo, dado que no
solamente, aportará una contribución técnica, sino que permitirá a su vez, mejorar la
calidad de vida, de personas con dificultades, permitiendo un muy pequeño paso, en un área en
la cual aún queda trabajo por desarrollar.
No obstante, repitiendo comentarios previos, este caso no inhibe de su aplicación en demás
sectores, que incluso, podría aplicarse a elementos, en los cuales a día de hoy, no se ha pensado en un
caso práctico de ejecución.
1.3 Objetivos
El objetivo principal de este trabajo es el diseño y desarrollo de un módulo de reconocimiento
gestual, con la finalidad del control de robots y/o herramientas robóticas mediante gestos de la mano,
para ayudar a los usuarios en el desarrollo de las actividades básicas de la vida diaria (ABVD).
No obstante, el uso de este tipo de control no estaría limitado a tareas de asistencia, sino que se
podría extender su uso a otro tipo de sectores, siendo la seguridad el factor más importante a la hora de
su uso.
Para este estudio, se empleará el sensor de captura de movimientos de mano y dedos llamado Leap
Motion, con la finalidad de desarrollar su potencial y empleabilidad, para pasar de una finalidad de ocio
a una aplicación más cercana a la asistencia automática.
Posteriormente, una vez concluido el objetivo principal del diseño y desarrollo del módulo de
reconocimiento, se procederá con la implementación de una interfaz de usuario, con el fin, de facilitar
la accesibilidad y control del mismo desde un punto de vista más simple y gráfico, y con ello instanciar
una adaptación al mismo a gran velocidad.

Por otro lado, se procederá con la elaboración de distintas modalidades de control del mismo entre
las cuales destaca, un control cartesiano del mismo en el espacio tridimensional, así como un control
asociado de configuraciones de giros de la mano, es decir, YAW, PITCH, ROLL, así como un
control del estado de apertura y cerrado de la mano, traducido en un control de herramientas tales
como una pinza.
Por lo tanto permitiría un control de 7 DOF, grados de libertad, en tiempo real.
Con el fin de facilitar un mayor alcance de la aplicación a casos más restrictivos de control,
tales como una mayor dificultad de movilidad, se procederá con el desarrollo de un set de gestos
adecuados, para producir el movimiento, lo cual traduciremos en modalidades adicionales de control, a
destacar:
Control por balance, a partir del cual el usuario, procederá con un espacio de seguridad centrado
sobre el dispositivo a forma de esfera de 20 centímetros de radio, y pudiendo controlar
el desplazamiento en los ejes colocando la mano sobre la dirección seleccionada, siendo un
ejemplo el caso de control para el desplazamiento hacia adelante la colocación de la mano adelante del
dispositivo.
Por otro lado, se procederá con un control de campo de velocidades como variante sobre el caso
previo, a través del cual controlar el desplazamiento a mayor o menor velocidad, alejando más o
menos la mano del centro de inactividad.
Adicionalmente, se procederá con el diseño de un pequeño asistente virtual, mediante el cual,
notificar instrucciones de uso de la aplicación, así como notificaciones de situaciones de control
como pudiera ser por ejemplo estados de apertura o cerrado de la garra o imposibilidad de desplazar
más el robot en un sentido.
A su vez, se implementará un control por voz, a partir de cual permitir un uso simultaneo de
control de cualquiera de las modalidades desarrolladas, así como asistente con un control por órdenes
de voz, y así mediante las mismas alcanzar un mayor grado de accesibilidad de control en situaciones de
dificultad.
Una vez finalizada la fase de diseño y desarrollo se procederá con la aplicación del mismo, para la
cual se avanzará gradualmente en los casos de prueba, desde una perspectiva empresarial y económica,
comenzando con pruebas en simuladores de control, tal como RobotStudio, a su vez, tras finalizar la
misma, se procederá con el diseño, desarrollo y construcción de un robot prototipo con servomotores y
controlado mediante una placa de control Arduino UNO, para la cual a su vez se desarrollará un
controlador especifico.
Para concluir, se procederá con la validación del control con un robot real, en tareas asistenciales,
llevando a cabo la ejecución de tareas tanto orientadas al apoyo doméstico como de apliación genérica.

Estado del arte

Universidad Carlos III de Madrid | 2. Antecedentes históricos, trabajos relacionados y
recursos empleados
21
2. Estado del arte
En siguiente apartado, se tratarán los fundamentos teóricos para la realización del proyecto,
introduciendo una puesta en el campo a tratar, una breve introducción sobre la historia de la robótica,
la evolución a lo largo de los años próximos, incluyendo, cual ha sido la evolución de la misma, en el
campo relativo a la topología de los sistemas robóticos.
A su vez, se tratará, cada uno de los dispositivos empleados, para la realización de la misma,
incluyendo un análisis de su estructura y comportamiento relativo a las funcionalidades aplicadas al
proyecto en sí.
Se realizará una breve descripción del software empleado, así como un reducido análisis sobre el
mismo, dado que, en este caso, no se trataría de un software particular, sino, que es el fundamento de
parte de la simulación de procesos industriales en la actualidad.
2.1 Antecedentes históricos del proyecto
En lo relativo a esta sección, se comentarán como el título indica, un desarrollo acerca de los
antecedentes históricos relativos al proyecto, es decir, historia de la robótica, tipología de los sistemas
robóticos, así como principios de simulación empleados en el mismos, analizando brevemente el
mercado, y los gigantes empresariales dedicados a dichas funciones, así como el marco socio económico
en el cual se encuentra desarrollado.

Universidad Carlos III de Madrid | 2.1.1 Historia de la robótica 22
2.1.1 Historia de la robótica
Podemos definir la robótica, como la convergencia, de numerosos campos de trabajo y estudio, a
saber, algunos de los más destacados; la ingeniería mecatrónica, la ingeniería eléctrica, la ingeniería
electrónica y las ciencias de computación o informáticas conocidas popularmente.
En la ilustración 1, puede observarse gráfica mente, la convergencia de las áreas troncales de la
formación de campo.
Ilustración 1 ‐ Áreas de convergencia
La robótica, es un campo de trabajo, quizá no tan definido, como sus con llegadas ramas como
la electrónica, dado que esta, se nutre de numerosas disciplinas, tales como la mecánica, la electrónica y
la informática, así como la ingeniería de control y la física, por extensión, numerosas ramas de las
matemáticas, tales como el álgebra, aplicada a numerosos ámbitos, siendo un ejemplo, el uso de las
matrices, para el cálculo de la estabilidad de los sistemas, o el uso del cálculo diferencial, aplicado al
control de la estabilidad de los sistemas continuos y discretos.
En lo relativo, a la historia de la misma, no nos extenderemos en gran medida, dado que no
sería la finalidad de dicho proyecto, solo comentar, que los primeros autómatas son datados de siglo I
a.c, entendiendo por autómatas los mecanismos que intentaban reproducir los movimientos de algún
ser vivo, no teniendo porque ser exclusivamente humano.
Mediante las ilustraciones 2 y 3, puede observarse, algunos de los ejemplos de los primeros
sistemas robóticos.

Universidad Carlos III de Madrid | 2.1.2 Tipología de los sistemas robóticos
industriales
23
.
Ilustración 2 ‐ Autómata de Herón de Alejandría Ilustración 3 ‐ Caballero mecánico de Da Vinci
No obstante, no se consideraría como primer diseño de robot humanoide hasta el año 1495, con el
diseño de Leonardo Da Vinci, conocido como el Caballero Mecánico.
2.1.2 Tipología de los sistemas robóticos industriales
En este apartado nos centraremos en las distintas clasificaciones de los robots en función de su
cronología o estructura.
2.1.2.1 Clasificación cronológica
En esencia, actualmente son divididos por su cronología en distintas generaciones siendo a
saber las 4 siguientes:
• Primera generación, asociada a los manipuladores, aquellos mecánicos multifuncionales,
tanto manuales como de secuencias sencillas.
• Segunda generación, relativa a los robots de aprendizaje, básicamente repiten secuencias
de movimiento, previamente programadas por un operador.
• Tercera generación, los robots sensorizados, es decir, incluyen sensores para poder
integrarse y ser consciente a leve modo de lo que los rodea, y trabajar en función de ello.

2.1.2.
siguie
A
 Cuart
gener
2 Clasificació
En esencia
entes:
 Poliar
todo
emple
 Móvil
transp
empre
A través de las
    Ilustración
 Andro
huma
suelen
ta generación
ración, los mis
ón estructural.
a, actualment
rticulados, su
mecánicas, c
eados en esta
les, relativa
porte de equip
esa Amazon e
s ilustraciones
n 4 ‐ Robot ABB
oides, los rob
ano, quizá los
n destacar má
n, son conocid
smos, procesa
.
te son dividid
uelen ser de p
como los ma
asignatura o l
a los robots
pamiento de
en su logística
s 4 y 5, se mue
B
bots que inten
más llamativ
ás en algunos c
U
dos como robo
an informació
os por su estr
ocos grados d
anipuladores,
los KUKA ent
de movimie
y de muy div
a, adjunto un v
estran dos ejem
tan reproduc
vos y polémic
casos por su s
niversidad C
ots inteligent
ón y pueden to
ructura en dis
de libertad, pa
, siendo ejem
tre otros.
ento rodante
verso tipo, un
video e image
mplos de las c
          Ilustració
ir total o parc
os en la actua
semejanza.
Carlos III de M
tes, un paso m
omar decision
stintos tipos,
ara funciones
mplo de esto
y locomoto
ejemplo serí
en.
clasificaciones
ón 5 ‐ Robot Am
cialmente la c
alidad y que e
Madrid |   2
más allá de la t
nes entorno a
siendo a sabe
s específicas y
os robots los
or, empleados
an los que ut
s comentadas
mazon
inemática de
en campos ex
4
tercera
ello.
er los 5
y sobre
s ABB
s para
iliza la
s.
un ser
xternos

A
d
2.1.
C
con n
comp
ello en
E
progr
sistem
T
por ej
para e
2
https
Univer
 Zoom
seres v
A través de las
 Híbri
anteri
Por último
de la simulació
3 Simula
Como se ha po
numerosas di
plejidades de t
ntran a forma
Es difícil imag
ramación de
ma de montaje
Todo esto, est
jemplo, en un
emplear nuev
s://www.yout
rsidad Carlos
mórficos, seme
vivos distinto
s ilustraciones
Ilustración
dos, de difíc
iormente expu
o, solo destac
ón.
adores de
odido ver, a lo
sciplinas, ya
todos los cam
ar parte de las
ginar, el diseñ
un robot en
e, por ello se d
a trasladado a
na industria, n
vas herramient
tube.com/wat
s III de Madr
ejantes a los a
os al ser huma
s 6 y 7, se mue
n 6 ‐ Robot And
cil clasificaci
uestos.
ar tras haber
e sistema
o largo de la in
que es conve
mpos converg
s herramienta
ño, montaje y
una industri
diseñaron los
a costes, tanto
no puedes par
tas, o ver con
tch?v=V0iUlzv
id | 2.1.3 Sim
androides, per
ano.2
estran dos ejem
droide
ón, dado qu
realizado esta
as robótic
ntroducción,
ergencia de v
gentes increm
as de uso, los s
prueba de un
a, a la prime
simuladores.
o monetarios,
rar toda la cad
que materiale
vhbl8
muladores de
ro intentando
mplos de las c
ue su estruct
a introducción
cos
el campo de l
varios campos
mentan la dific
simuladores.
n robot, y que
era, y que no
, como tempo
dena de monta
es transmite u
e sistemas ro
o recrear la ca
clasificaciones
Ilustración
tura, suele c
n a este camp
la robótica, es
s, por lo tant
cultad de dise
e funcione al p
o afecte de m
orales como a
aje, para prob
un mayor par
obóticos 2
adena cinemát
s comentadas
.
7 ‐Robot Zoom
combinar ent
o de trabajo,
s un campo ar
to, el sumato
eño y trabajo,
primer intent
manera incorre
anímicos, dad
bar un nuevo c
de fuerza.
5
tica de
s.
morfico
tre los
el área
rduo, y
orio de
, y por
to, o la
ecta al
do que,
código

Universidad Carlos III de Madrid | 2.1.3 Simuladores de sistemas robóticos 26
Los simuladores, permiten las pruebas de funcionamiento, de una aproximación bastante cercana
al problema real, sin necesidad de probarlo en un sistema físico, ahorrando numerosos costes y errores.
Esto es aplicable a la gran mayoría de disciplinas, tales como, Abaqus, para el diseño de
los materiales y su estudio, así como su modelado; Robotstudio para su programación y control;
Matlab, para su interconexión y simulación…3
Como puede observarse en la ilustración 8, un ejemplo del elemento comentado.
Ilustración 8- Simulador Robotstudio.[4]
En este apartado, simplemente, nos centraremos en hablar un poco del software de simulación de
control y programación de robots empleado para el desarrollo de dicho proyecto, es decir, de
Robotstudio.[1]
Robotstudio, es un software de simulación y programación fuera de línea, bajo el título de la
empresa de robótica, especializado en los robots manipuladores entre otros bajo su mismo nombre
ABB, el cual, proporciona herramientas necesarias para simular y programar fuera de línea, así como
incrementar la rentabilidad del sistema robotizado con tareas de formación, programación y
optimización.
En lo referente al software, Robotstudio, permite crear, programar y simular células y estaciones de
robots industriales ABB.
Se trata de un simulador, pionero y potente con capacidad de importación de geometrías y
modelos 3D de cualquier formato, trabajando sobre CATIA.
Permite la simulación y programación cinemática de estaciones, permitiendo una gran sencillez de
diseño y creación, así como su capacidad para ser importado a un sistema real.
Posee, un entorno visual, en gran medida realista y aproximada a una idealización del real,
comentando, que dicho simulador, trabaja sobre Robotware, cuyo fundamento permite implementar
las funciones de conexión virtual a real, así como determinadas configuraciones adyacentes.[1]
3
https://www.youtube.com/watch?v=VQ7lL5‐6Gp4

Universidad Carlos III de Madrid | 2..1.4 Comparativa campos de investigación con
Leap Motion en la actualidad
27
2..1.4 Comparativa campos de investigación con Leap Motion en la
actualidad
En lo referente a este apartado, se realizará un breve análisis de los campos de investigación de
uso del dispositivo Leap Motion.
Por lo tanto para este apartado, mencionar la existencia de investigaciones destacadas en
la actualidad semejantes al proyecto en curso.
Principalmente, destacar como comparativa, el campo de investigación del "Análisis de
precisión y Robustez del Controlador Leap Motion", implementado por Frank Weichert *
, Daniel
Bachmann, Bartholomäus Rudak and Denis Fisseler, de la universidad de Dortmund en
el departamento de Ciencias de computadores, cuyo núcleo de proyecto es la investigación
en la precisión del propio dispositivo, la ,mejora y desarrollo de un dispositivo más óptimo y
con mayor resolución.
A su vez, han implementado un pequeño software orientado al control de robot
industriales, pasando por las fases de control vía simulador y control en robot real, en este caso
aplicado a un robot KUKA, como se adjunta en la ilustración siguiente 9.[9]
Ilustración 9 ‐ Impementación en robot KUKA

Universidad Carlos III de Madrid | 2..1.4 Comparativa campos de investigación con
Leap Motion en la actualidad
28
Por otro lado, también orientado al análisis y precisión, el proyecto de " An Analysis of the
Precision and Reliability of the Leap Motion Sensor and Its Suitability for Static and Dynamic
Tracking", de los investigadores, Jože Guna *
, Grega Jakus, Matevž Pogačnik, Sašo Tomažič and
Jaka Sodnik, de la Universidad de Ljublijana, orientados principalmente, al reconocimiento de
objetos y traking, orientado a funcionalidades, vía comparativa por imágenes de los elementos y
herramientas del entorno, como se observa en la ilustración 10. [29]
Ilustración 10 ‐ Reconocimiento de objetos
Destacar, por otro lado la aplicación mostrada por la investigación de Joanna C.Coelho y Fons
J. Verbeek relativo a " Pointing Task Evaluation of Leap Motion Controller in 3D Virtual
Environment", relativo al uso del controlador Leap Motion orientado al entorno virtual, mediante uso
sustituto por ejemplo al mouse de la computadora, permitiendo una comunicación vía 3D, como se
observa en la ilustración 11. [17]
Ilustración 11 ‐ Inteacción virtual Leap Motion

Universidad Carlos III de Madrid | 2.2 Control compartido de robots en tareas de
asistencia
29
Por un lado el campo de investigación desarrollado por los ingenieros Y.Pititeerrtaphan,
P.Choitkunnan y N.Thongpance, de la universidad de Tailandia orientados al control de un brazo
robótico con control cartesiano, procesado, vía placa Arduino UNO, y controlado vía cámara web para
su visualización a distancia.
Como se puede observar posee ciertas semejanzas con el sub-apartado desarrollado en este
proyecto, relativo al desarrollo del robot prototipo.[18]
Adjunto su acceso en el siguiente a link:4
Destacar como investigación relevante en curso datada su incorporación en el IEEE del 23 de
Mayo de 2017, el control vía Leap Motion, para un robot de 20 grados de libertad, orientado a la
tele-cirugía, una de las opciones de posibles usos que se comentaba al inicio, aunque destacar que
con mucho más desarrollo e investigación sobre el producto actual.
Investigación en curso por los autores Lamyanba Heisnam y Bhivraj Suthar del Instituto de
Investigación de Nueva Delhi. [19]
Acceso al estudio en curso.5
Por último comentar los estudios en curso, datados de 10 de Noviembre de 2016, por los
investigadores Scott Devine, Karen Rafferty y Stuart Ferguson de la Universidad de Belfast, en lo
referente al control de un robot de 6 grados de libertad, con un control simultaneo vía reconocimiento
Kinect de Microsoft.[18]
Acceso al estudio en curso6
4
http://ieeexplore.ieee.org/document/7782091/figures
5
http://ieeexplore.ieee.org/document/7931886/authors
6
http://ieeexplore.ieee.org/document/7737564/authors

Universidad Carlos III de Madrid | 2.2 Control compartido de robots en tareas de
asistencia
30
2.2 Control compartido de robots en tareas de asistencia
Analizando el campo de la robótica, concretamente, el apartado asistencial, se puede observar
un gran avance en los últimos años, gracias a la aplicación de la innovación con fines domóticos/apoyo.
Desde un punto de vista más orientado al control, si realizamos un análisis
externo, identificando los métodos de control principales, podemos diferencial claramente tres
grandes bloques a saber:
1.Control tele-operado, (Háptico).
Dentro de este bloque podríamos encontrar los controles mediante el uso de dispositivos
externos de control, tanto analógicos como digitales, destacando dentro de los mismos ejemplos de
controles analógicos como pudiera ser un Joystick, o un teclado, como pudiera ser el ejemplo de control
de un robot que aunque industrial y no con fines asistenciales el caso de un Robot KUKA, o un ABB
con control mediante paleta y JoyStick FlexPlendant, así como el control que pudiera darse en las sillas
de ruedas habilitadas con control de motores.
A su vez, nuestro control vía gestual, a partir del dispositivo Leap Motion, se podría incorporar
dentro del control tele-operado, dado que recibe órdenes de igual manera aunque obteniendo
dichos parámetros vía sensores analógicos-digitales.
2. Control autónomo.
Dentro de este bloque, podrían definirse todos aquellos robots de control vía tareas de
forma automática o autónoma, es decir, cuyo control ha sido previamente programado y este se
ejecuta en función de las directrices pre-configuradas.
Un claro ejemplo serían también los robots industriales, pero desde un enfoque de tareas de
producción automatizadas y programadas.
Quizá aunque, con un mayor grado de desarrollo el caso de un robot controlado mediante
APIs de control inteligente, a partir de una IA, Inteligencia Artificial, así como los robots de
transporte de Amazon previamente comentados.
3.Control Semi-Automático.
Dentro de este bloque se podrían configurar todos los sisemas de control los cuales, poseen un
sub-apartado manual, pero a su vez constan de un apartado pre configurado y programado para
la ejecución de tareas, tal como pudiera ser el caso de un control por voz, que requiere de órdenes
de control pero las directrices programadas pueden ser autónomas.

Universidad Carlos III de Madrid | 2.3 Recursos utilizados 31
2.3 Recursos utilizados
Mediante el uso del apartado de recursos utilizados se hará constar y facilitar en un mismo
apartado todos los elementos requeridos para la realización del mismo así como la funcionalidad para
la cual han sido empleados.
2.3.1 Hardware
En lo referente al Hardware requerido para la realización del proyecto destacar los siguientes
elementos diferenciados en los bloques de aplicación.
1. Control base:
Para implementar el control de los robots, era necesario requerir de un dispositivo primario
que facilitara la obtención de parámetros con los cuales realizar la implementación, dicho dispositivo, es
el Leap Motion, un conjunto de dos cámaras monocromáticas y tres led infrarrojos con los cuales
escanear el objeto de control, que será nuestra mano, con la cual llevar a cabo la asistencia del robot.
2.3.1.1 Dispositivo Leap Motion
Para el siguiente apartado se llevará a cabo, un análisis del dispositivo de reconocimiento de
módulos gestuales, Leap Motion.
Lo primero de todo, antes de realizar el análisis comentar, que el inicio de dicha tecnología data
del año 2008, cuando el co-fundador David Holz de la empresa Leap Motion Inc., con sede en San
Francisco, California, Estados Unidos, realizaba la tesis doctoral en matemáticas.
En el año 2010, David Holz, y Michael Buckwald, realizaron la fundación oficial sobre la
original.[2]
El dispositivo Leap Motion, es controlador, de tipo periférico USB, compuesto por dos cámaras
IR monocromáticas y tres LED infrarrojos, es un dispositivo, que permite la observación de un área
próxima semiesférica de 1 metro de radio, cuyos LED, son capaces de generar luz infrarroja sin patrón,
y con una velocidad de captura de 200 fps, (frames per second ), de datos de imagen reflejados.[3]
Como puede observarse en la ilustración 12, un ejemplo del elemento comentado.

Leap
mode
mode
un mo
escrit
Oculu
realid
Una vez o
Motion, real
elo 3D, de la
elo real, a mod
odelo 3D de l
Dicha fun
orio en realid
us Rift[4] o H
Tal y com
dad virtual, co
   Ilust
a)
obtenidos los p
liza un recon
estructura ós
delo de tipo so
as articulacio
nción, abre un
dad virtual, h
TC VIVE[5] p
mo podemos v
on o sin HTC V
tración 13 ‐ Mod
Unive
Ilustración 1
parámetros de
nociendo de i
sea de las extr
oftware, recre
nes de la mism
n amplio aban
hasta unión, c
permitiendo u
ver en las ilust
VIVE.
delo Oseo 3D
ersidad Carlo
12 ‐ Dispositivo
e imagen. En
imagen y a tr
remidades su
eando informá
ma.[3]
nico de uso pa
con dispositiv
un gran avanc
traciones 13 y
os III de Madr
Leap Motion
n este caso el s
ravés de un
uperiores, llev
áticamente el
ara el mismo,
vos de realida
ce en el camp
y 14, una pos
      Ilu
rid | 2.3.1 Ha
b)
software prim
comparador
va a cabo un
modelo de la
, permitiendo
ad virtual com
o de la realida
ible situación
ustración 14 ‐ O
ardware 3
mario del dispo
de imagen c
modelado, so
as manos a tra
o desde contro
mo pudieran
ad virtual.
n de adaptació
Oculus rift
2
ositivo
con un
obre el
avés de
oles de
ser el
ón con

2.3.1.
E
decir,
C
a la ex
2.3.1
E
comp
Posee
1.1 Caracterí
En esta secció
, el hardware d
Como puede o
xplicación en
.1.2 Dimensio
En lo referent
paración con o
e unas medida
D
sticas técnica
n se va a llev
del mismo.
observarse en
grueso para p
Il
ones del dispo
te a las dimen
otros interface
as, tal que:
Dimensiones
Largo
Ancho
Alto
Unive
as del disposit
var a cabo, un
la ilustración
poder analiaza
lustración 15 ‐ V
ositivo Leap M
nsiones, el di
es gestuales d
s
Tabla 1 ‐ D
ersidad Carlo
tivo Leap Mot
n análisis de la
n 15, un ejemp
ar con mayor
Vista explosiona
Motion
ispositivo, po
el mercado ac
Dimensiones Le
os III de Madr
tion
as característi
plo de vista ex
facilidad.
ada Leap Motio
osee unas dim
ctual.[6]
eap Motion
rid | 2.3.1 Ha
icas técnicas d
xplosionada d
on
mensiones bas
Medidas
75 mm
25 mm
11 mm
ardware 3
del compone
del elemento,
stante reducid
3
nte, es
previo
das en

A
2.3.1
desco
2.3.1
como
C
dado
Adjuntando im
.1.3 Compon
En lo refe
omponerlo, tal
.1.3.1 Cámar
El disposit
o el correspon
Como puede o
Por un lad
que son las
magen del disp
nentes del disp
erente a las pa
l que:
ras, LEDs y mi
tivo Leap Mo
diente microc
observarse en
do, contamos
s encargadas
Unive
positivo 16 en
Ilustración 16
positivo Leap
artes físicas, d
icrocontrolad
otion, cuenta,
controlador.
la ilustración
Ilustración 17
s con las cáma
de la captu
ersidad Carlo
n la que puede
6 ‐ Dimensiones
Motion
de las cuales
dor del dispos
con 2 cámar
n 17, un ejemp
7 ‐ Componente
aras,uno de lo
uraráde imág
os III de Madr
en observarse
s Leap Motion
consta el har
itivo Leap Mo
ras monocrom
plo del elemen
es Leap Motion
os componen
genes y elco
rid | 2.3.1 Ha
e, tal que:
rdware del di
otion
máticas, y 3 L
nto comentad
ntes primordia
rrecto funcio
ardware 3
spositivo, pod
EDs infrarroj
do.
ales del dispo
onamiento, e
4
demos
jos, así
ositivo,
el cual

Universidad Carlos III de Madrid | 2.3.1 Hardware 35
repercutirá en el uso correcto y funcionamiento, del resto de los componentes y del Hardware del
mismo.
Se trata de cámaras de sensor monocromático, sensible a la luz infrarroja, con una longitud de
onda de 850 nm. Permitiendo una velocidad de trabajo de hasta 200 fps (frames per second),
dependiente del rendimiento del ordenador de uso.
El tipo de sensores es tipo CMOS. En el caso del fenómeno de digitalización de los píxeles en
el caso de un sensor CMOS se producen en el interior de cada una de las celdas, por lo que no es
necesario un chip externo como seria en el supuesto de un sensor CCD[7].
Por lo tanto, permite mayor velocidad de captura, y por lo tanto requiere de menores
dimensiones de trabajo.
A su vez, son más económicos que los sensores CCD.
Por otro lado, la velocidad de lectura de celdas en los CMOS es superiora los CCD,
permitiendo un consumo eléctrico menor.[6]
2.3.1.1.3.2 Iluminación infrarroja del dispositivo Leap Motion
Los dispositivos LEDs son los encargados de de iluminar la zona de cobertura por inundación.
Con un espectro de luz infrarroja con una longitud de onda de 850 nm que, a su vez, es la misma
que la sensibilidad de los sensores ópticos.[7]
Por otro lado, destacar, que los dispositivos LEDs se encuentran separados por pequeñas
barreras de plástico, asegurando, que la iluminación sea uniforme y distribuida, en toda la zona de
cobertura, así como protegiendo a los sensores ópticos por la posibilidad de saturación de luz,
permitiendo de esta manera que la infrarroja no incida directamente.[6]
2.3.1.1.3.3 Micro-controlador del dispositivo Leap Motion
En lo referente al micro controlador, es un circuito integrado el cual es empleado, para realizar
la función de BIOS (MXIC MX25L3206E–32M-bit CMOS SERIAL FLASH). Incluye el programa
de control del dispositivo permitiendo entre otros, regular la iluminación, así como la
funcionalidad de recoger la información de los sensores y re-enviarla al driver o
controlador instalado en el computador.[3]
Como puede observarse en la ilustración 18, un ejemplo del elemento comentado, con el esquema
electrónico de bloques.

2.3.1
orden
2.3.1
orden
cámar
500 m
adjun
a
.1.4 Comunic
El disposit
nador y así pu
Soportand
.1.4.1 Comun
En lo refe
nador a través
En lo refer
Por otro
ras,así como d
mA A 900 mA
Por último
nta en la ilustr
Siendo el á
a)
cación del dis
tivo Leap Mo
ueda reconoce
do alta velocid
nicación de tr
erente al env
s de dos puerto
rente a la zon
lado, la zon
de lacorriente
A., en función
o, el ángulo d
ación 19:
ángulo máxim
Unive
Ilustración 1
positivo Leap
otion consta d
er el dispositiv
dad a USB 3.0
ransferencia d
vío y recepció
os serie, bidir
UART
na de actuació
na de actuaci
e máxima que
de la tecnolog
de visión depe
Ilustració
mo permitido
ersidad Carlo
18 ‐ Hardware L
p Motion.
de un control
vo.
.[6]
del dispositivo
ón de datos,
reccionales sim
T_RX y UART
ón, o alcance,
ión, depende
e se pueda sum
gía aplicada d
nde de la dist
ón 19 ‐ Cálculo d
de 150.92 gra
os III de Madr
Leap Motion
lador USB rea
o Leap Motion
son enviados
multaneos con
T_TX.
se trata de un
del ángulo
ministrar la co
e USB 1.0 a 3
tancia focal y
de ángulo
ados.[6]
rid | 2.3.1 Ha
b)
alizando la co
n.
s y recibidos
n comunicaci
na semiesfera
de visión de
onexión USB
.0.
del tamaño d
ardware 3
omunicación
al controlad
ión full-duplex
a de 61 cm de
e las lentes
a los LEDs de
del sensor tal q
6
con el
dor del
x: [2]
radio.
de las
e entre
que, se

2.3.1
C
trabaj
110.5
detect
2.3.1
dispo
IR mo
próxim
y con
gestos
permi
movim
.1.5 Área de t
Como puede
jo, tomaría un
En lo relat
5 mm de anc
tado.[6]
.1.5 Principio
En el sigu
sitivo Leap M
El disposit
El disposit
onocromática
ma semiesfér
una velocida
Se trata d
s, con un índ
itiendo una co
Permitien
miento al mo
En lo relat
trabajo del dis
observarse en
n volumen pa
tivo al área de
chura x 69.43
os de funciona
uiente apartad
Motion.
tivo Leap Mot
tivo Leap Mot
as y tres LED
ica de 1 metr
d de captura d
de un sensor,
ice de error, b
onfiguración
do el model
delo real, perm
tivo al funcion
Unive
spositivo Leap
n la ilustració
ralelepípedo t
Ilustració
e trabajo, o In
3 mm de prof
amiento
do, se comen
tion, como he
tion, es contr
D infrarrojos,
o de radio, cu
de 200 fps, (fr
traductor de
bastante redu
de posición y
lo tridimensi
mitiendo su u
namiento del
ersidad Carlo
p Motion
ón 20, un eje
tal que:.
ón 20 ‐ Campo d
teraction Box
fundidad, var
nzará con el a
emos comenta
olador, de tip
es un dispos
uyos LED, son
rames per seco
e lengua de si
ucido, capaz d
y movimiento
ional de nue
uso para una i
controlador L
os III de Madr
emplo del e
de trabajo
x, posee un vo
iando sus dim
análisis del p
ado previame
po periférico U
itivo, que per
n capaces de g
ond), de dato
ignos, capaz
de obtener un
bastante elev
estras manos
nfinidad de ta
Leap Motion,
rid | 2.3.1 Ha
elemento com
olumen de 110
mensiones en
principio de f
ente:
USB, compues
rmite la obse
generar luz in
s de imagen r
de identificar
na gran cantid
vada.
con una gr
areas de asiste
podemos des
ardware 3
mentado, el á
0.55 mm de a
n función del
funcionamien
sto por dos cá
ervación de u
nfrarroja sin p
reflejados.
r correctamen
dad de inform
ran proximid
encia.
stacar:
7
rea de
ltura x
objeto
nto del
ámaras
n área
patrón,
nte los
mación,
dad de

Universidad Carlos III de Madrid | 2.3.1 Hardware 38
El dispositivo periférico, es capaz de iluminar, un área semiesférica de 1 metro de radio, a
través de luz infrarroja emitida por sus tres LEDs de emisión, a una longitud de onda de 850 nm,
aunque, no obstante, cabe destacar, la limitación el ángulo de visión de las cámaras monocromáticas y
los tres LED, a un ángulo de visión máxima.
En lo referente al consumo de alimentación del dispositivo, podemos extraer, dado que es un
periférico externo, con conexión USB.[2]
2.3.1.1.5.1 Análisis de consumo.
Dado que se trata de un puerto USB, la alimentación, será una fuente de tensión continua de 5
Voltios continua, limitando la corriente, a la máxima permitida por el puerto, y dependiente de la
tecnología empleada, es decir USB 1.0, 1.1, 2.0 o 3.0, lo cual se traduce en corrientes que se encontrar
entre el intervalo de corrientes medias de 500 a 900 Ma.
Sin tener en cuenta efectos de rizado en la conversión, ni perdidas en la transmisión, a un
consumo ideal, y sabiendo que:
Por la ley de Ohm.

∗
Tipo de
comunicación
Corriente
demandada media
Tensión de
alimentación media
Potencia consumida
media
USB 1.0 500 mA 5 V 2.5 W
USB 2.0 600 mA 5 V 3 W
USB 3.0 900 mA 5 V 5 W
Tabla 2 ‐ Análisis de consumo
Como puede observarse en la tabla 5, un ejemplo de los consumos de potencia en los casos
comentados.

Tenie
es fija
2.3.1
dema
por lo
poten
endo en cuent
Siendo la r
a, y adjunto en
Tipo d
 Nota:
La res
de fun
.1.5.2 Gráfica
Podemos o
andado, por el
o tanto la tecn
ncia, debido a
ta, que la resis
resitencia de c
n la tabla 6.
de comunica
USB 1.0
USB 2.0
USB 3.0
sistencia medi
ncionamiento
a comparativa
observar, en e
l dispositivo, s
nología emple
la corriente d
Unive
stencia media
carga que ofre
ación
Tabla 3 ‐ R
ia medida, en
o o frecuencia
a de consumo
el gráfico com
será mayor, en
ada, por lo tan
demandada, lo
Gráfico 1
ersidad Carlo
que impondr
ece variable, a
Resistencia de c
n ausencia de e
s de uso, es un
o
mparativo, que
n función del
nto, la tecnolo
o cual puede o
1 ‐ Potencia dem
os III de Madr
rá al computa
aunque la resi
Resi
arga media
efectos de tem
n valor orient
e como resulta
aumento de l
ogía USB 3.0,
observarse en
mandada
rid | 2.3.1 Ha
ador, será vari
stencia del di
istencia med
10 Ω
8.333 Ω
6.172 Ω
mperatura, así
tativo.
a intuitivo, el
la velocidad d
será la que m
el gráfico 1 d
ardware 3
able tal que:
spositivo siem
dia
como armón
consumo
de transmisión
más requiera d
de a continuac
9
mpre
nicos
n, y
e
ción.

media
lo tan
cuant
2.3.1
dispo
funcio
dispo
de las
refleja
los cu
dispo
ajuste
dispo
envid
Se puede o
a, por el dispo
nto la tecnolog
to a resistenci
.1.6 Topologí
Tras el aná
sitivo Leap M
Cabe desta
onamiento de
Al detecta
sitivo es ilum
s dos cámaras
El disposit
ados, en el sen
uales son alma
La matriz
sitivo Leap M
es en lo refe
sitivo.Finaliza
dados al driver
observar, en e
ositivo, será m
gía empleada,
a, debido a la
ía de funciona
álisis de consu
Motion.
acar, que com
e las cámaras m
ar un objeto s
minado, debido
monocromát
tivo, emplea u
nsor de cada c
acenados digit
de datos, a su
Motion, dond
erente a la r
ado, el ajuste
r, instalado en
Unive
el gráfico com
mayor, en func
por lo tanto,
corriente dem
Gráfico
amiento
umo, procede
mo se ha come
mono cromát
sobre el disp
o a la reflexió
ticas.
un tipo de len
cámara, lo cu
talmente, en u
u vez, se encu
de la memori
resolución de
de resolució
n la computad
ersidad Carlo
mparativo, que
ción del decre
la tecnología
mandada, lo c
2 ‐ Resistencia
eremos con el
entado previam
ticas, junto co
ositivo, confi
n de luz que l
nte, biconvexa
ual, a su vez, s
una matriz de
uentra almacen
ia del contro
e imagen, tod
n, de la imag
dora, para su u
os III de Madr
como resulta
emento de la v
USB 3.0, será
cual puede obs
de carga
análisis de pr
mente, el fund
on los 3 LEDs,
igurado en es
llega al dispos
as, las cuales,
e traduce, en
e datos.[6]
nada en la me
olador USB, s
do ello, med
gen, los datos
uso.[3]
rid | 2.3.1 Ha
a intuitivo, qu
velocidad de t
á la que meno
servarse en el
rocesos llevad
damento bási
, infrarrojos.
ste caso, con
sitivo incidien
concentran l
datos recogid
emoria intern
se realizan lo
diante, el mi
recogidos po
ardware 4
ue la resistenci
transmisión, y
s requiera en
gráfico 2 adju
do a cabo por
co en el
nuestras man
ndo, sobre las
los rayos emit
dos por los se
na de tipo volá
os correspond
icrocontrolado
or los sensore
0
ia
y por
unto..
el
nos, el
lentes
tidos y
nsores
átil del
dientes
or del
es, son

píxel
memo
en esc
76.80
los m
caract
A
Motio
mono
obstan
lente.
nosot
separa
1
2
3
Como par
de la imagen
oria volátil, de
Dicho valo
cala de grises,
En lo refe
0 píxeles por
Tras la rec
modelos 3D ó
terización ana
A través de la
on, se puede a
ocromáticas q
nte, se puede
La imagen
tros, en concr
arlas en 3 gran
. Distorsión
2. Distorsión
. Distorsión
rticularidad, c
n capturada,
e tipo buffer.
or de intensid
dada la imag
rente al tama
imagen. [7]
cogida, de las
seos, para ide
atómico, tal y
a SDK, de des
acceder al sim
que recibe el co
e observar, qu
n, posee una
eto las extrem
ndes bloques,
n Zero, o si di
n de barril.
n de cojín.
Unive
comentar, que
por las cáma
dad, es cuant
gen monocrom
año de imagen
imágenes de l
entificar las m
y como puede
Ilustración
sarrollador, la
mulador gráfi
omputador, a
ue la imagen,
a distorsión ó
midades super
, a saber:
storsión.
ersidad Carlo
e los datos rep
aras monocro
tificado, en 8
mática, dando
n, posee, una
las dos cámar
manos y los
observarse en
n 21 ‐ Captura d
a cual se pue
co de la aplic
a través del dis
se encuentra
óptica, deform
riores. En lo
os III de Madr
presentan un v
omáticas, a su
bitsgenerand
o lugar, a 256 p
as dimensione
ras monocrom
dedos a parti
n la ilustración
de cámaras
de obtener en
cación, para o
spositivo, y ad
a distorsionad
mando, el ob
referente a lo
rid | 2.3.1 Ha
valor de inten
u vez, son al
do una imagen
posibles valor
es de 640 x 12
máticas, son an
ir de un mod
n 21 adjunta a
n la página w
observar entre
djunto en el su
da, esto, es de
bjeto observad
os tipos de d
ardware 4
nsidad lumino
lmacenadas e
n en formato
res de lumino
20 pixeles, es
nalizadas, me
delo matemát
a continuació
web oficial, de
e otros, las ca
uperior.. No
ebido al efecto
do, en este c
distorsión, pod
1
osa por
en una
RAW
sidad.
decir,
ediante
tico de
ón.
e Leap
apturas
o
o de la
caso, a
demos

E
distor
barril
D
opció
E
con o
S
P
lado,
interp
2.3.1
En el caso de
rsión complej
, y la distorsió
Destacar, que,
ón de calibrad
En conclusión
tro buffer, el c
Se trata de una
Por lo tanto, c
el valor que
polando, se po
.1.6.1 Ejempl
el dispositivo
ja, lo cual, a
ón de cojín, ta
, para la mejo
o, para así rea
n, cada uno de
cual contiene
a serie de dato
ada uno de es
tenga un pu
odrá obtener t
lo de funciona
a
Ilu
Unive
o Leap Motio
groso modo,
al y como pue
a)
Ilustración
ora de la ima
alizar un map
el buffer de d
la informació
os de tipo rejil
stos puntos es
unto mallado
toda la inform
amiento
ustración 23 ‐ M
ersidad Carlo
on, se produc
, puede defin
ede observarse
22 ‐ Campos d
agen distorsio
a mallado de
atos de image
ón de distorsi
lla de 64 x 64
s representaci
o, definirá la
mación de lum
Mallado de dist
os III de Madr
ce un cuarto
nirse como un
e en la ilustrac
de distorsión
onada, el disp
la imagen, su
en es enviado
ón.
puntos de dos
ión un rayo pr
luminosidad
minosidad de c
torsiñon comple
rid | 2.3.1 Ha
o caso, lo qu
na unión, ent
ción 22 adjun
positivo Leap
perpuesta cap
o al driver, el
s valores de 3
royectado en
d de cada píx
cada pixel.[6]
b)
eja
ardware 4
ue se conoce
tre la distorsi
ta a continuac
b)
Motion, pose
ptada, por el s
cual, a su vez
2 bits cada un
la cámara. Po
xel de la ima
2
como
ión de
ción.
ee una
sensor.
z,junto
no.
or otro
agen, e

C
con d
L
con re
utiliza
dentr
150 gr
T
extrem
través
visión
2.3.1
siguie
imáge
ilustra
S
mism
Oi y
mism
T
conec
Como se pued
distorsión com
La imagen en c
epresentación
ando el mapa
o de las cuale
rados.[6]
Tras transferir
midades supe
Se determ
s de técnicas d
Dado que
n binocular y p
.1.6.2 Sistem
Respecto
ente:
Debida a
enes con pequ
ación 24 adju
Siendo Oi, y O
mo plano Z, so
Od están en
ma distancia fo
Tiene lugar, qi
ctados.[6]
de observar, e
mpleja corregi
cuestión, se h
n por cada píx
a de calibraci
s ningún valo
r las imágenes
riores, es deci
mina la posició
de visión ester
e el dispositiv
por ello es po
as esteroscóp
a los sistema
la separació
ueñas diferen
nta a continu
Od los centros
obre la línea b
el mismo pla
ocal, es posible
ie, se puede o
Unive
el ejemplo sup
da a los parám
ha reconstruid
xel y es posible
ión. Por otro
or de brillo est
s, se corrigenc
ir, las manos y
ón de estas en
reoscópica.[7
vo Leap Moti
sible obtener
icos
as estereoscóp
n entre las d
cias, es decir,
uación.
Ilustración 2
s de los corre
base.Al trazar
ano Z, por lo
e ver la proyec
btener el dete
ersidad Carlo
perior, de las
metros correct
do mediante e
esaber el valo
lado, las par
tá disponible,
correctament
y los dedos.
n el sistema d
]
on es un sist
distancias.
picos, solo de
dos cámaras
con una disp
24 ‐ Sistemas es
espondientes s
una línea epi
o tanto, amba
cción del pun
erminado valo
,
,
os III de Madr
ilustraciones
tos.
el cálculo de la
r de brillo ver
rtes rojas de l
, debida a la li
te y a través d
de coordenad
tema de capta
efinir, que el
respecto del
paridad.[7], ta
steroscópicos
sistemas de re
polar entre la
as cámaras m
nto P en las do
or de la dispar
rid | 2.3.1 Ha
20, sería un
as pistas horiz
rdadero de los
la captura, re
imitación del
del driver, se h
as cartesianas
ación de imá
modo de fun
l eje X es po
al y como pue
eferencias, los
as dos imágen
monocromátic
os imágenes.
ridadpara cad
ardware 4
ejemplo de im
zontales y ver
s datos de la im
epresentan las
ángulo de vis
han identifica
s de Leap Mo
ágenes basado
ncionamiento
osible adquir
ede observars
s cuales, están
nes Ii e Id, dad
as,se encuent
da par de los p
3
magen
rticales
magen
s áreas
sión de
ado las
otion a
o en la
o, es el
rir dos
e en la
n en el
do que
tran la
puntos

S
dos c
contin
P
2.Con
robót
los cu
concr
aparta
un co
LCD,
el con
3.Con
fué el
prueb
Si se aproxima
cámaras del
nuación.
Por lo tanto, a
ntrol prototip
Para el ap
tico con el cua
uales facilitar
retamente,s er
ado, junto con
A su vez,
ontrolador de
por el cual m
nexionado ele
ntrol final.
Para el de
l robot AMO
bas finales.
a, igual la dista
sistema, , ta
b)
partir del sist
po.
partado del d
al llevar a cab
r los 6 DOF
rvomotores
n una garra de
se requirió de
los servomot
mostrar los res
ctrónico del d
esarrollo final
OR del Parque
Unive
ancia focalen
al y como pu
tema de ecuac
diseño protot
bo pruebas de
F, grados de
MG996R, fac
e control.
e una placa d
tores con las
sultados de la
desarrollo.
se requirió d
e Científico y
ersidad Carlo
ambas cámar
uede observa
ciones previo,
tipo, se requi
e aplicación, p
libertad, par
cilitada una d
de libre desarr
que comunic
transcripción
de un robot fu
y Tecnológico
os III de Madr
ras y teniendo
arse en la ilu
, se puede obt
irió de la con
para el cual se
ra llevar una
descripción m
rollo Arduino
car las órdene
n, asi como un
uncional y co
o de la UC3M
rid | 2.3.1 Ha
o como dato l
ustración 21,
c)
tener la posici
nstrucciónde
e requirió de 6
a semejanza
más completa
o UNO, con l
es recibidas, a
na placa proto
ompleto de 6
M, facilitado
ardware 4
a distancia en
, a y b, adju
ión de P.
un pequeño
6 servomotot
con el robo
del montaje
a cual implem
así como un d
oboard para r
DOF, en cuy
para el proce
4
ntre las
unta a
brazo
tes con
t real,
en su
mentar
display
ealizar
yo caso
eso de

Universidad Carlos III de Madrid | 2.3.2 Software 45
2.3.2 Software
En lo referente al Software requerido para la realización del proyecto destacar los siguientes elementos
diferenciados en los bloques de aplicación.
1.Desarrollo de API.
Para el desarrollo de la API, se requirió de varios entornos de programación en los cuales llevar
a cabo el proceso de desarrollo del código fuente de control, entre los cuales destaca el entorno Arduino,
para el desarrollo del controlador prototipo en C, así como el uso del entorno Microsoft Visual Studio,
versión 2015, para el desarrollo del entorno de adquisición de datos, y entorno gráfico en C#, Sharp, así
como el controlador YARP para la comunicación con el robot AMOR.
YARP, es acrónimo, procedente de Yet Another Robot Platform, se trata de un conjunto de
librerías, protocolos, así como herramientas, para módulos y dispositivos desacoplados.
Se trata de un componente de transición, una tecnología de comunicación, en punto medio, es
decir, Middleware, dado que no controla en sistema.
En lo referente a su lenguaje de programación, está basado en C++, aunque no obstante la
totalidad del mismo, no es del mismo lenguaje.[14][15][16][17]
Por otro lado, se requirió de las versiones de desarrollador SDK de Leap Motion, para el acceso
a las librerías del código fuente del dispositivo, para así acceder a los parámetros básicos con los cuales
iniciar el proceso de cómputo y conversión, así como las versiones SDK de desarrollador de Microsoft
con las cuales desarrollar el controlador del Asistente Virtual, para las notificaciones sonoras, así como
el control por voz.
Por último destacar el uso de las SDK de Aforge, para llevar a cabo el control del las cámaras
del entrono a través de la API, así como la herramienta Processing para el modo telemático de lectura de
ficheros en el robot prototipo.
No obstante destacar, previo al desarrollo del proyecto, es necesario, analizar brevemente, el
software a emplear, concretamente, la configuración del sdk de Leap Motion y configuraciones del
Visual Studio para comunicarse con la SDK, así como un análisis para comprobar el correcto
funcionamiento del dispositivo.
1. Instalación del Kit de desarrollador
Para el acceso a los parámetros e información, se procederá empleando, las librerías de
desarrollador de software de Leap Motion, librerías de acceso gratuito, con el requerimiento de registro,
a las cuales se puede acceder, a través del link adjunto[20].

Link de descarga de SDK:7
A su vez, incluye otros elementos como la VR, o el desarrollo en plataforma Android, aunque a día
de hoy (29/01/2017), siguen en fase de desarrollo betha, sin acceso al público.
La SDK, de desarrollador, soporta sistemas operativos, tanto Microsoft Windows, OSx ( MAC ),
como Linux.
2. Requerimientos del sistema
No obstante, lo primero de todo, comentar, los requisitos requeridos por el software de SDK, a
instalar en el sistema, para proceder con el proyecto.[20]
En lo referente a los requisitos mínimos del sistema, adjuntos en la tabala 13.
Requisitos mínimos del sistema Valores
Sistema Operativo Microsoft Windows 7 o Mac OS X 10.7+.
Microprocesador AMD Phenom II o Intel Core i3/i5/i7.
Memoria RAM 2 GB.
Conexiones USB 2.0.
Tarjeta gráfica Integrada.
Conexión a internet Sí.
Tabla 4 ‐ Requisitos mínimos SDK Leap Motion
7
https://developer.leapmotion.com/get‐started/

No obstante, en lo referente a los requisitos recomendados del sistema, los adjuntos en la tabla 14.
Requisitos recomendados del sistema Valores
Sistema Operativo Microsoft Windows 7 SP1 o Mac OS X
10.7+.
Microprocesador Intel Core i5 equivalente o superior.
Memoria RAM 8 GB o superior.
Conexiones 2xUSB 3.0.
Tarjeta gráfica NVIDIA GTX 970 / AMD R9 290
equivalente o superior.
Conexión a internet Sí
Tabla 5 ‐ Requisistos recomendados SDK Leap Motion
Por último, en lo referente al hardware empleado, para el desarrollo del proyecto, ha sido el
siguiente, adjuntos en la tabla 15.
Hardware empleado Valores
Sistema Operativo Microsoft Windows 10 Pro.
Microprocesador Intel Core i7 4790K.
Memoria RAM 16 GB
Conexiones 2xUSB 3.0.
Tarjeta gráfica NVIDIA GTX 750.

Conexión a internet 30 Mb.
Tabla 6 ‐ Hardware Empleado
Concluido el proceso de comprobación de los requisitos del sistema, se procederá con la instalación
de la versión a instalar.
3. Librerías y versiones de la SDK
En lo referente al software SDK a instalar, existen numerosas versiones, cada una de ellas destinada
a una función de desarrollos, que no obstante se pueden diferenciar en dos grupos.
Por un lado, se encuentran las versiones estándar, aplicables a la mayoría de los casos de desarrollo,
y, por otro lado, las versiones diseñadas para la realidad virtual, todo esto, sin incluir las SDK, de los
dispositivos Android.
Para la realización de la practica emplearemos la versión estándar del producto, dado que para la
funcionalidad final requerida es suficiente.
No obstante, y a su vez, dentro de esta sección se incluyen cada una de las versiones desarrolladas
para el producto, que, aunque cada versión incluye nuevas mejoras, arreglos de bug, y mejora de la
precisión, y siendo la versión última actual a día 29/01/2017, la versión 3.2.0, no emplearemos la misma,
sino una versión inferior, la versión 2.2.7.30199.[6]
El uso de la versión previa al sistema y no la actual, es debido, a la configuración de las librerías, las
funciones implementadas en la misma, así como el software de acceso a la comunicación con las
mismas, facilitado por Leap Motion, así, como por el cambio de la forma de funcionamiento del
dispositivo Leap Motion.
La versión actual, modifica las librerías, des-instalando, librerías de acceso a los
parámetros generales de posición y movimiento Yaw, Pitch y Roll, del sistema, parámetros, los cuales
permiten una compatibilidad mayor, a la hora de realizar la conversión de datos a sistema robot,
y su posterior transmisión.[2]
Las versiones actuales, se centran en la precisión de cada una de las articulaciones de los dedos, una
visión más real del modelo de las extremidades superiores de un ser humano, lo cual en nuestro caso,
dado que la aplicación, es la del control de un Robot, de tipo manipulador, aplica, que dicha
funcionalidad no sea de conveniencia, dado, que suponemos que el modelo del ABB, no incluya una
herramienta, tal y como una mano robótica, sino que lo que se desea, es el movimiento entre puntos así
como apertura y cerrado de herramienta tipo pinza.[8]

P
de Lea
N
puede
en la i
semeja
de inst
4
4
L
multim
ilustra
8
https
9
https
Para el acceso
ap Motion, ad
No obstante, e
e acceder, a tr
ilustración 25
Concluida
ante a la de cua
talación, dado
. Aplicaciones
.1Leap Motion
Leap Motion, A
media, las apli
ación 26.
s://developer
s://github.com
a versiones p
djunto en el li
en caso de fa
ravés de repos
5.
a)
la búsqueda de
alquier instalac
que SDK, inclu
de desarrollado
n App Home
App Home, ser
icaciones de t
‐archive.leapm
m/nok/leap‐m
Univ
previas del pro
ink:8
llo del sistem
sitorios de uso
Ilustració
e las librerías re
ción, de softwar
uirá las librería
or
rá el software m
terceros o las
motion.com/v
motion‐proces
ersidad Carlo
oducto, se pu
ma, borrado d
o público, tale
ón 25 ‐ SDK Lea
equeridas, se pr
re, con la pecul
s a emplear.
multimedia, a
desarrolladas
v2
sing/releases
os III de Mad
ede acceder, m
de versión, o n
es como GitH
ap Motion
rocederá con la
liaridad, de la c
través del cual
por el usuari
drid | 2.3.2 S
mediante el a
no requerimi
Hub, adjunto e
b)
a instalación de
copia de la carp
l, podremos in
o, lo cual pue
Software 4
archivo de ver
ento de regis
en el link:9
, ad
el producto, de
peta SDK, a la c
nstalar en un e
ede observarse
9
rsiones
stro, se
djuntos
e forma
carpeta
entorno
e en la

Gesture recognition module for robot control in assistance tasks

Gesture recognition module for robot control in assistance tasks

Recomendados

Recomendados

Más contenido relacionado

Similar a Gesture recognition module for robot control in assistance tasks

Similar a Gesture recognition module for robot control in assistance tasks (20)

Último

Último (20)

Gesture recognition module for robot control in assistance tasks