Presentation corresponding to "XGNITIVE: Avances hacia la generalización avanzada de acciones y sistemas de imaginación en robótica". Technology Festival (Techfest). Universidad Rey Juan Carlos (URJC). 2017. https://www.eventbrite.es/e/registro-technology-festival-urjc-2017-28838850779?aff=es2#
1. XGNITIVE: Avances hacia la
generalización avanzada de acciones y
sistemas de imaginación en robótica
Juan G Victores
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
2. XGNITIVE: Avances hacia la generalización avanzada de
acciones y sistemas de imaginación en robótica
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
1 of 56TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
3. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
2 de 56
● Laboratorio de Robótica y de Tecnologías Afines
➢ +40 personas (2 CU, 2 TU, 8 post-PhD, candidatos PhD…)
➢ Equipo multidisciplinar (Ingenieros en Automatización y Electrónica
Industrial, Telecomms), Física, Matemática, Informática...
➢ Equipo internacional (+12 nacionalidades: E, USA, RU, I, VEN,
EGP, IRK, MEX…)
● Líneas de Investigación
➢Robótica asistencial, robots humanoides, robótica en la
construcción, robots escaladores, interacción física y psicológica,
control moderno, visión por computadora, sensores...
Robotics Lab (UC3M)
Mis líneas de investigación
XGNITIVE
- El origen
- Objetivos
- Estado actual
4. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 3 de 56
Robótica asistencial Robótica en la construcción
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Robotics Lab (UC3M)
Mis líneas de investigación
XGNITIVE
- El origen
- Objetivos
- Estado actual
5. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 3 de 56
Robótica asistencial
XGNITIVE
Robótica en la construcción
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Robotics Lab (UC3M)
Mis líneas de investigación
XGNITIVE
- El origen
- Objetivos
- Estado actual
6. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 3 de 56
Robótica asistencial
XGNITIVE
Robótica en la construcción
TEXTILES
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Robotics Lab (UC3M)
Mis líneas de investigación
XGNITIVE
- El origen
- Objetivos
- Estado actual
7. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 3 de 56
Robótica asistencial
XGNITIVE
Robótica en la construcción
ROBO-SPECTTEXTILES
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Robotics Lab (UC3M)
Mis líneas de investigación
XGNITIVE
- El origen
- Objetivos
- Estado actual
8. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 4 de 56
XGNITIVE: A Flexible Cognitive
Architecture for Robots
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Robotics Lab (UC3M)
Mis líneas de investigación
XGNITIVE
- El origen
- Objetivos
- Estado actual
9. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 4 de 56
“XGNITIVE is like the Grial of robotics”
:-)
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Robotics Lab (UC3M)
Mis líneas de investigación
XGNITIVE
- El origen
- Objetivos
- Estado actual
10. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 5 de 56
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Robotics Lab (UC3M)
Mis líneas de investigación
XGNITIVE
- El origen
- Objetivos
- Estado actual
11. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 6 de 56
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Robotics Lab (UC3M)
Mis líneas de investigación
XGNITIVE
- El origen
- Objetivos
- Estado actual
12. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 6 de 56
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Robotics Lab (UC3M)
Mis líneas de investigación
XGNITIVE
- El origen
- Objetivos
- Estado actual
13. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 6 de 56
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Robotics Lab (UC3M)
Mis líneas de investigación
XGNITIVE
- El origen
- Objetivos
- Estado actual
14. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 7 de 56
A. No perceptual links between physical
characteristics and words.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Robotics Lab (UC3M)
Mis líneas de investigación
XGNITIVE
- El origen
- Objetivos
- Estado actual
15. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 7 de 56
A. No perceptual links between physical
characteristics and words.
B. Lack of inference capabilities for
interpreting combinations of words.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Robotics Lab (UC3M)
Mis líneas de investigación
XGNITIVE
- El origen
- Objetivos
- Estado actual
16. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 7 de 56
A. No perceptual links between physical
characteristics and words.
B. Lack of inference capabilities for
interpreting combinations of words.
C. No bindings between actions and their
effects, reprogramming required.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Robotics Lab (UC3M)
Mis líneas de investigación
XGNITIVE
- El origen
- Objetivos
- Estado actual
17. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 7 de 56
A. Develop a framework for linking
physical characteristics and words.
B. Enable inference mechanisms for
interpreting combinations of words.
C. Allow a robot to act according to the
desired effects on an object.
Robotics Lab (UC3M)
Mis líneas de investigación
XGNITIVE
- El origen
- Objetivos
- Estado actual
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
18. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 8 de 56
XGNITIVE: A Flexible Cognitive
Architecture for Robots
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Robotics Lab (UC3M)
Mis líneas de investigación
XGNITIVE
- El origen
- Objetivos
- Estado actual
19. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 8 de 56
Robot Imagination System
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Robotics Lab (UC3M)
Mis líneas de investigación
XGNITIVE
- El origen
- Objetivos
- Estado actual
20. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 8 de 56
Robot Imagination System Continuous Goal-Directed Actions
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Robotics Lab (UC3M)
Mis líneas de investigación
XGNITIVE
- El origen
- Objetivos
- Estado actual
21. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 8 de 56
Robot Imagination System Continuous Goal-Directed Actions
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Robotics Lab (UC3M)
Mis líneas de investigación
XGNITIVE
- El origen
- Objetivos
- Estado actual
22. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 9 de 56
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
23. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 9 de 56
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
24. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 10 de 56
A. No perceptual links between physical
characteristics and words.
B. Lack of inference capabilities for
interpreting combinations of words.
C. No bindings between actions and their
effects, reprogramming required.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
25. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 11 de 56
A. No perceptual links between physical
characteristics and words.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
26. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 11 de 56
A. No perceptual links between physical
characteristics and words.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
27. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 12 de 56
A. No perceptual links between physical
characteristics and words.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
28. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 12 de 56
``The horizontal
purple rectangle
below the horizontal
green rectangle'‘
(DESCRIBER, 2002)
A. No perceptual links between physical
characteristics and words.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
29. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 13 de 56
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
30. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 14 de 56
B. Lack of inference capabilities for
interpreting combinations of words.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
31. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 14 de 56
B. Lack of inference capabilities for
interpreting combinations of words.
(AARON, 1989)
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
32. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 14 de 56
B. Lack of inference capabilities for
interpreting combinations of words.
(AARON, 1989) (AHA! Experience, 2011)
!
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
33. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
We define Robot Imagination as the process of
creating previously unexisting Knowledge K’ from
existing Knowledge K and Words W.
15 de 56
Imagination
Where new Knowledge K’ can be used for a real
world application.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
34. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 16 de 56
Robot Imagination System (RIS)
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
35. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 17 de 56
A. Perception
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
36. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 17 de 56
• Computer Vision
A. Perception
Computer Vision
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
37. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 17 de 56
• Computer Vision
• Speech Recognition
A. Perception
Computer Vision
Speech Recognition
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
38. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Speech Recognition
17 de 56
• Computer Vision
• Semantic Memory
A. Perception
Computer Vision
Speech Recognition
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
39. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Speech Recognition
17 de 56
• Computer Vision
A. Perception
Computer Vision
Speech Recognition
Grounding Core
• Semantic Memory
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
40. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
A. Perception
Computer Vision
Speech Recognition
State Machine
Grounding Core
17 de 56
• Speech Recognition
• Computer Vision
• Grounded Language
• Semantic Memory
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
41. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
A. Perception
Computer Vision
Speech Recognition
State Machine
Grounding Core
• Speech Recognition
17 de 56
• Semantic Memory
• Embodied Cognition
• Computer Vision
• Grounded Language
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
42. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 17 de 56
• Philosophy
• Statistical Learning
• Psychology
• Neuro-science (medical)
• Neuro-science (computer)
A. Perception
Computer Vision
Speech Recognition
Grounding Core
State Machine
Imagination Core
B. Inference
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
43. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
A. Perception
Computer Vision
Speech Recognition
Grounding Core
State Machine
Imagination Core
B. Inference C. Execution
Execution Core
17 de 56
• Correspondence Problem
• Robot Imitation
• Goal-Directed Actions
• Continuous Goal-Directed
Actions (CGDA)
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
44. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 17 de 56
A. Perception
Imagination Core
State Machine
Execution Core
Visual OutputComputer Vision
Grounding Core
Speech OutputSpeech Recognition
B. Inference C. Execution
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
45. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 18 de 56
A. Perception
Computer Vision
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
46. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 18 de 56
• 2D
• RGB/HSV or Canny Edge Detection
• Morphological Closing
• Find contours (blobs) to segment objects
• 3D
• Remove NaN and Voxelize
• RANSAC using plane model
• Remove planes (tables and walls)
• Euclidian Clustering to segment objects
• Feature extraction
• Centroid, area, rotation, min/max axis,
aspect ratio, rectangularity, solidity, arc,
radius, RGB, HSV.
A. Perception
Computer Vision
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
47. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 19 de 56
Grounding Core
A. Perception
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
48. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 19 de 56
• Generated semantic subspaces:
Grounding Core
A. Perception
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
49. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 19 de 56
• Generated semantic subspaces:
• Blue
0
Solidity
Hue
Grounding Core
A. Perception
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
50. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 19 de 56
• Generated semantic subspaces:
• Blue
• Scissors
0
Solidity
Hue
0
Solidity
Hue
Grounding Core
A. Perception
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
51. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 19 de 56
0
Solidity
Hue
0
Solidity
Hue
• Generated semantic subspaces:
• Blue
• Scissors
Grounding Core
A. Perception
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
52. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 19 de 56
0
Solidity
Hue
0
Solidity
Hue
• Generated semantic subspaces:
• Blue
• Scissors
1
Grounding Core
A. Perception
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentoss
53. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
1
19 de 56
0
Solidity
Hue
0
Solidity
Hue
Hue
• Generated semantic subspaces:
• Blue
• Scissors
• Red
Solidity
0
Grounding Core
A. Perception
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
54. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
1
19 de 56
0
Solidity
Hue
0
Solidity
Hue
Hue
• Generated semantic subspaces:
• Blue
• Scissors
• Red
Solidity
0
Grounding Core
A. Perception
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
55. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 20 de 56
Imagination Core
B. Inference
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
56. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
• Enhanced Prediction Algorithm (RIS)
• Object Recognition (Euclidean Distance)
• Reconstruction (Evolutionary Computation)
21 de 56
Imagination Core
B. Inference
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
57. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
22 de 56
Imagination Core
B. Inference
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
58. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
22 de 56
Imagination Core
B. Inference
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
59. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
22 de 56
Imagination Core
B. Inference
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
60. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
22 de 56
Imagination Core
B. Inference
1. Generalization
• Basic Prediction:
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
61. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Basic Prediction:
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
22 de 56
Imagination Core
B. Inference
1. Generalization
2. Intersection
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
62. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Basic Prediction:
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
22 de 56
Imagination Core
B. Inference
1. Generalization
2. Intersection
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
63. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Basic Prediction:
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
22 de 56
Imagination Core
B. Inference
1. Generalization
2. Intersection
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
64. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Basic Prediction:
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
22 de 56
Imagination Core
B. Inference
1. Generalization
2. Intersection
3. Projection
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
65. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
22 de 56
Imagination Core
B. Inference
1. Generalization
2. Intersection
3. Projection
4. Averaging
• Basic Prediction:
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
66. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
22 de 56
Imagination Core
B. Inference
1. Generalization
2. Intersection
3. Projection
4. Averaging
• Basic Prediction:
• COMPLETE
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
67. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
22 de 56
Imagination Core
B. Inference
1. Generalization
2. Intersection
3. Projection
4. Averaging
• Basic Prediction:
• COMPLETE
• RELEVANT
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
68. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
1. Generalization
2. Intersection
3. Projection
4. Averaging
• Basic Prediction:
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
22 de 56
Imagination Core
B. Inference
• COMPLETE
• RELEVANT
• BALANCED
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
69. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Basic Prediction:
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
23 de 56
Imagination Core
B. Inference
1. Generalization
2. Intersection
3. Projection
4. Averaging
• COMPLETE
• RELEVANT
• BALANCED
Why a hyperplane of order n-1 ?
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
70. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Basic Prediction:
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
23 de 56
Imagination Core
B. Inference
1. Generalization
2. Intersection
3. Projection
4. Averaging
• COMPLETE
• RELEVANT
• BALANCED
Why a hyperplane of order n-1 ?
• From the algebraic definition, if the points fit
to the model, it simultaneously captures all of
the linear dependencies and couplings in Rn.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
71. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Basic Prediction:
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
23 de 56
Imagination Core
B. Inference
1. Generalization
2. Intersection
3. Projection
4. Averaging
• COMPLETE
• RELEVANT
• BALANCED
Why a hyperplane of order n-1 ?
• From the algebraic definition, if the points fit
to the model, it simultaneously captures all of
the linear dependencies and couplings in Rn.
• Hyperplanes are defined in all space, so the
“meanings” of words are also extended across,
and along, all the Feature Space.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
72. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Basic Prediction:
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
23 de 56
Imagination Core
B. Inference
1. Generalization
2. Intersection
3. Projection
4. Averaging
• COMPLETE
• RELEVANT
• BALANCED
Why a hyperplane of order n-1 ?
• From the algebraic definition, if the points fit
to the model, it simultaneously captures all of
the linear dependencies and couplings in Rn.
• Hyperplanes are defined in all space, so the
“meanings” of words are also extended across,
and along, all the Feature Space.
• Practical benefit of always finding
intersections between these representations.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
73. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Basic Prediction:
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
24 de 56
Imagination Core
B. Inference
1. Generalization
2. Intersection
3. Projection
4. Averaging
• COMPLETE
• RELEVANT
• BALANCED
Why are orthogonal projections used ?
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
74. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Basic Prediction:
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
24 de 56
Imagination Core
B. Inference
1. Generalization
2. Intersection
3. Projection
4. Averaging
• COMPLETE
• RELEVANT
• BALANCED
Why are orthogonal projections used ?
• Projections result on the valid solution
geometrical construct, and are closest to the
original data of a given point cloud.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
75. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Basic Prediction:
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
24 de 56
Imagination Core
B. Inference
1. Generalization
2. Intersection
3. Projection
4. Averaging
• COMPLETE
• RELEVANT
• BALANCED
Why are orthogonal projections used ?
• Projections result on the valid solution
geometrical construct, and are closest to the
original data of a given point cloud.
• Promotes ranges of values that are common in
objects, which is useful when not all features are
specified by words.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
76. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Basic Prediction:
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
25 de 56
Imagination Core
B. Inference
1. Generalization
2. Intersection
3. Projection
4. Averaging
• COMPLETE
• RELEVANT
• BALANCED
Does the algorithm have any known limitations?
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
77. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Basic Prediction:
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
25 de 56
Imagination Core
B. Inference
1. Generalization
2. Intersection
3. Projection
4. Averaging
• COMPLETE
• RELEVANT
• BALANCED
Does the algorithm have any known limitations?
Yes, the basic prediction algorithm may fail under
the following circumstances:
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
78. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Basic Prediction:
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
25 de 56
Imagination Core
B. Inference
1. Generalization
2. Intersection
3. Projection
4. Averaging
• COMPLETE
• RELEVANT
• BALANCED
Does the algorithm have any known limitations?
Yes, the basic prediction algorithm may fail under
the following circumstances:
• Context dependency (e.g. “green” color or state
of ripeness).
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
79. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Basic Prediction:
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
25 de 56
Imagination Core
B. Inference
1. Generalization
2. Intersection
3. Projection
4. Averaging
• COMPLETE
• RELEVANT
• BALANCED
Does the algorithm have any known limitations?
Yes, the basic prediction algorithm may fail under
the following circumstances:
• Context dependency (e.g. “green” color or state
of ripeness).
• Periodicity (e.g. “red” hue is 0º and 360º, a
hyperplane could be fit at 180º).
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
80. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
• Basic Prediction:
• Object Feature Prediction:
• Basic Prediction Algorithm (RIS)
25 de 56
Imagination Core
B. Inference
1. Generalization
2. Intersection
3. Projection
4. Averaging
• COMPLETE
• RELEVANT
• BALANCED
Does the algorithm have any known limitations?
Yes, the basic prediction algorithm may fail under
the following circumstances:
• Context dependency (e.g. “green” color or state
of ripeness).
• Periodicity (e.g. “red” hue is 0º and 360º, a
hyperplane could be fit at 180º).
• Specificity (non-extendable meanings).
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
81. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 26 de 56
Imagination Core
B. Inference
• Object Feature Prediction:
• Enhanced Prediction Algorithm (RIS)
• Enhanced Prediction:
1. Context Detector
2. Hyperspherical
Shape Detector
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
82. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 27 de 56
Imagination Core
B. Inference
• Object Feature Prediction:
• Enhanced Prediction Algorithm (RIS)
• Enhanced Prediction:
1. Context Detector
2. Hyperspherical
Shape Detector
The Context Detector counts the accompanying
words of a query word within each cluster
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
83. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 28 de 56
Imagination Core
B. Inference
• Object Feature Prediction:
• Enhanced Prediction Algorithm (RIS)
• Enhanced Prediction:
1. Context Detection
2. Hyperspherical
Shape Detector The Hyperspherical Shape Detector compares all
the sorted eigenvalues of a given point cloud
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
84. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 29 de 56
Execution Core
C. Execution
• Action Generalization (CGDA)
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
85. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 30 de 56
1. Populating the database: Every training sample has a description
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
86. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 30 de 56
1. Populating the database: Every training sample has a description,
e.g. the first image is labeled “top-left-dark-blue-fat-straight-box”
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
87. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 31 de 56
3. The mental models are created through Object Reconstruction (using
evolutionary computation) aiming at the predicted features, e.g. the first
image responds to the query “bottom right”, the second to “bottom left”,
the third to “top right”, and the last to “top blue”.
2. Queries are summited upon the populated database,
e.g. “bottom right” or “bottom left”.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
88. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
3. The mental models are created through Object Reconstruction (using
evolutionary computation) aiming at the predicted features, e.g. the first
image responds to the query “bottom right”, the second to “bottom left”,
the third to “top right”, and the last to “top blue”.
31 de 56
2. Queries are summited upon the populated database,
e.g. “bottom right” or “bottom left”
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
89. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
3. The mental models are created through Object Reconstruction (using
evolutionary computation) aiming at the predicted features, e.g. the first
image responds to the query “bottom right”, the second to “bottom left”,
the third to “top right”, and the last to “top blue”.
31 de 56
2. Queries are summited upon the populated database,
e.g. “bottom right” or “bottom left”
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
90. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
3. The mental models are created through Object Reconstruction (using
evolutionary computation) aiming at the predicted features, e.g. the first
image responds to the query “bottom right”, the second to “bottom left”,
the third to “top right”, and the last to “top blue”.
31 de 56
2. Queries are summited upon the populated database,
e.g. “bottom right” or “bottom left”
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
91. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
3. The mental models are created through Object Reconstruction (using
evolutionary computation) aiming at the predicted features, e.g. the first
image responds to the query “bottom right”, the second to “bottom left”,
the third to “top right”, and the last to “top blue”.
31 de 56
2. Queries are summited upon the populated database,
e.g. “bottom right” or “bottom left”
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
92. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 32 de 56
4.The drawing demonstration, where the robot exposes its mental model.
[J.G.Victores, 2013](IROS,Tokyo) [J.Lebber, 2013](FASTCompany)
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
93. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 33 de 56
-The system is trained through speech with a blue visual marker.
-The component used for Speech Recognition requires a pre-defined
corpus of words to recognize.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
94. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 34 de 56
The system can generalize a word with as little as 2 training
samples in the 2D case, and 3 training samples in the 3D case.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
95. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 35 de 56
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
96. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 36 de 56
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Escenario objetivo
Estado del arte
Arquitectura global
Componentes
Percepción, Inferencia y Ejecución
Experimentos
97. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 37 de 56
A. No perceptual links between physical
characteristics and words.
B. Lack of inference capabilities for
interpreting combinations of words.
C. No bindings between actions and their
effects, reprogramming required.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
98. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 38 de 56
C. No bindings between actions and their
effects, reprogramming required.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
99. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 38 de 56
C. No bindings between actions and their
effects, reprogramming required.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
100. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 38 de 56
C. No bindings between actions and their
effects, reprogramming required.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
101. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 39 de 56
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Programming by Demonstration (PbD) [Calinon]
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
102. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 40 de 56
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Dynamic Motion Primitives (DMP) [Ijspeert, Schaal]
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
103. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 41 de 56
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
PbD / DMP CGDA
Objective of
imitation
Spatial trajectories Objects feature states
Features tracked
Demonstrator’s
joint/Cartesian
parameters
Objects’ shape, area,
color, coordinates, etc.
Strengths
Perfect kinematic
imitation
Captures the objective
of the action.
Seamless transfer of
actions between
robots.
Weaknesses
Undefined goal to
achieve
Undefined way
to achieve the
goal
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
104. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 42 de 56
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Red X
Red Y
Green X
Green Y
end
Goal-Directed Actions
start
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
105. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 42 de 56
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Red X
Red Y
Green X
Green Y
end
Goal-Directed Actions
Red X
Red Y
Green X
Green Y
t
Continuous Goal-Directed Actions
start
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
106. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 43 de 56
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
Red X
Red Y
Green X
Green Y
t
Red X
Red Y
Green X
Green Y
t
Red X
Red Y
Green X
Green Y
t
Red X
Red Y
Green X
Green Y
t
Red X
Red Y
Green X
Green Y
t
Red X
Red Y
Green X
Green Y
t
Demonstration Selection
Feature Selection
107. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 44 de 56
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Filtering
MappingDissimilarity
Obtaining a measurement of
dissimilarity
DTW, Euclidean Dist, etc.
Dimensionality reduction
preserving original dimensions
Sum of dissimilarities, MDS,
PCA, etc.
Discarding demonstrations(
or features)
Z-score, DBSCAN, etc.
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
108. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 45 de 56
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
[Morante, 2015](HUMANOIDS, Seoul)
Signal 1
Signal 2
Signal 3
3
20
19
Dissimilarity
Signal 1
Signal 2
Signal 3
0 3 20
3 0 19
20 19 0
2223 39
Mapping
Σ
23 22
39
-0.52
-0.62
1.15
Filtering
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
109. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 46 de 56
• Action Generalization (CGDA)
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
[Morante, 2014](ICRA, Hong Kong)
110. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 46 de 56
• Action Generalization (CGDA)
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
Split in Intervals
(e.g.: 1 interval/second)
111. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 46 de 56
• Action Generalization (CGDA)
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
Compute average
Split in Intervals
(e.g.: 1 interval/second)
112. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 46 de 56
• Action Generalization (CGDA)
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
Split in Intervals
(e.g.: 1 interval/second)
Compute average
Linear interpolation
(e.g. Radial Basis Function)
113. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
GeneralizedTraj.e.g.Xpos
Query Traj. e.g. X pos
47 de 56
• Action Recognition (CGDA)
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
114. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
GeneralizedTraj.e.g.Xpos
Query Traj. e.g. X pos
47 de 56
• Action Recognition (CGDA)
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
• Feature-by-feature
comparison using Dynamic
Time Warping (DTW)
115. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
GeneralizedTraj.e.g.Xpos
Query Traj. e.g. X pos
47 de 56
• Action Recognition (CGDA)
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
• Feature-by-feature
comparison using Dynamic
Time Warping (DTW)
• Minimum Cost Path (MCP)
116. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
GeneralizedTraj.e.g.Xpos
Query Traj. e.g. X pos
47 de 56
• Action Recognition (CGDA)
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
• Feature-by-feature
comparison using Dynamic
Time Warping (DTW)
• Minimum Cost Path (MCP)
• Minimum Total Sum of Cost
= min Σ(MCP)
is most similar recognized
117. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 48 de 56
• Action Execution (CGDA)
Execution Strategies
• Full Trajectory Evolution
• Individual Evolution
• Individually Evolved Trajectories (IET)
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
[Morante, 2015](Journal of Advanced Robotics)
118. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 49 de 56
Testing the execution of the “waxing” action encoded as a
Continuous Goal-Oriented Action (CGDA).
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
119. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 50 de 56
[S.Morante, J.G.Victores et Al., ICRA 2013, Hong Kong]
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
120. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 51 de 56
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Executing a Non-Spatial Task: Painting
• Objective:
Paint a wall composed by 16 small squares.
• Features:
Percentage of painted wall.
• Strategy:
Incrementally Evolved Trajectories.
121. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 52 de 56
Estado del arte
Selección automática de demostraciones y características
Generalización
Reconocimiento
Ejecución
Experimentos
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
122. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 53 de 56
Perception
- Framework for creating links between words and
physical characteristics
Inference
- Robot Imagination System for providing robots with
imagination skills through object features and semantics
Execution
- Presented a new way of encoding actions, which can
complement Programming by Demonstration
- Explained proposed algorithms for CGDA
generalization, recognition and execution
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
123. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 54 de 56
Origin of Data
- Sensory information of various nature (e.g. haptic,
rugosity) and from the Internet-of-Things.
Data Representation
- Human-inspired color space such as YUV. Use of SIFT and
SURF visual descriptors.
Techniques for Inference
- Feature selection (e.g. LASSO). Gaussian Mixture Models,
Non-linear PCA, Manifolds, Neural Networks.
Additional Functionalities
- Vector and dynamic information, auto-tuned parameters.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
124. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 55 de 56
J.G. Victores, S. Morante, A. Jardon, C. Balaguer. Towards Robot Imagination Through
Object Feature Inference. IEEE/RSJ International Conference on Intelligent Robots and
Systems (IROS 2013), ISBN: 2153-0858, pages: 5694 - 5699, IEEE. 2013-11-05, Tokyo,
Japan. 2013.
S. Morante, J.G. Victores, A. Jardon, C. Balaguer. Action Effect Generalization, Recognition
and Execution through Continuous Goal-Directed Actions. IEEE International Conference
on Robotics and Automation (ICRA 2014), pages: 1822 - 1827, IEEE. 2014-06-03, Hong Kong,
China. 2014.
S. Morante, J.G. Victores, A. Jardon, C. Balaguer. Humanoid Robot Imitation through
Continuous Goal-Directed Actions : An Evolutionary Approach. Advanced Robotics, vol: 29,
number: 5, pages: 303 - 314. 2015.
S. Morante, J.G. Victores, C. Balaguer. Automatic Demonstration and Feature Selection for
Robot Learning. IEEE International Conference on Humanoid Robots (Humanoids 2015),
pages: 428 - 433, IEEE. 2015-11-03, Seoul, South Korea. 2015.
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
125. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 56 de 56
Introducción
Robot Imagination System
Continuous Goal-Directed Actions
Conclusiones
Publicaciones
Colabora!
Join us!
https://github.com/roboticslab-uc3m/xgnitive
126. XGNITIVE: Avances hacia la
generalización avanzada de acciones y
sistemas de imaginación en robótica
Juan G Victores
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017