1. Aprendizaje de Programas Teleo-Reactivos
Contenido
´
Introduccion ´ ´
para Robotica Movil
Representa-
´
cion
Aprendizaje
de PTRs Blanca A. Vargas Govea
´
basicos
Asesor: Dr. Eduardo F. Morales Manzanares
Aprendizaje
de PTRs
´
jerarquicos INAOE
Experimentos
Experimentos para
´
navegacion
´
Octubre 28, 2009
Clasificacion de
ademanes
Conclusiones
(INAOE) Octubre 28, 2009 1 / 53

2. Contenido
Contenido
Contenido
´
Introduccion ´
1 Introduccion
Representa-
´
cion
Aprendizaje
´
2 Representacion
de PTRs
´
basicos
Aprendizaje
´
3 Aprendizaje de PTRs basicos
de PTRs
´
jerarquicos
Experimentos
´
4 Aprendizaje de PTRs jerarquicos
Experimentos para
´
navegacion
´
Clasificacion de
ademanes 5 Experimentos
Conclusiones ´
Experimentos para navegacion
´
Clasificacion de ademanes
6 Conclusiones
(INAOE) Octubre 28, 2009 2 / 53

3. ´
Introduccion
´
Motivacion
Contenido
´
Introduccion
Robot, ve a la sala Creciente demanda de
Representa-
´
cion
robots de servicio
Aprendizaje ´
• Metodos para simplificar
de PTRs
´
basicos ´
la programacion.
Aprendizaje
de PTRs
´
• Ambientes dinamicos.
´
jerarquicos
• Ambientes distintos:
Experimentos
Experimentos para
´
navegacion
casa, oficina,
´
Clasificacion de
ademanes
laboratorio.
Conclusiones
´
Un robot movil que aprenda a realizar tareas en ambientes
´
dinamicos.
(INAOE) Octubre 28, 2009 3 / 53

4. ´
Introduccion
´
Problematica
Contenido
´
Introduccion
Representa-
´
cion
Aprendizaje
de PTRs
´
basicos
Aprendizaje
de PTRs
´
jerarquicos
Experimentos
Experimentos para
´
navegacion
´
Clasificacion de
ademanes
Conclusiones
(INAOE) Octubre 28, 2009 4 / 53

5. ´
Introduccion
En esta tesis:
Contenido
´
Introduccion
Representa-
´
cion
Aprendizaje
de PTRs
´
basicos
Aprendizaje
de PTRs
´
jerarquicos
Experimentos
Experimentos para
´
navegacion
´
Clasificacion de
ademanes
Conclusiones
(INAOE) Octubre 28, 2009 5 / 53

6. ´
Introduccion
Trabajo relacionado
Contenido
´
Introduccion
Representa-
´
cion
Aprendizaje
de PTRs
´
basicos
Aprendizaje
de PTRs
´
jerarquicos
Experimentos
Experimentos para
´
navegacion
´
Clasificacion de
ademanes
Conclusiones
(INAOE) Octubre 28, 2009 6 / 53

7. ´
Representacion
´
Representacion
Contenido
´
Introduccion
Representa-
´
cion
Aprendizaje
de PTRs
´
basicos
Aprendizaje
de PTRs
´
jerarquicos
Experimentos
Experimentos para
´
navegacion
´
Clasificacion de
ademanes
Conclusiones
(INAOE) Octubre 28, 2009 7 / 53

8. ´
Representacion
´
Representacion del ambiente 1/2
Contenido
´
Introduccion
Representa-
´
cion
Aprendizaje
de PTRs
´
basicos
Aprendizaje
de PTRs
´
jerarquicos
Experimentos
Experimentos para
´
navegacion
´
Clasificacion de
ademanes
Conclusiones
´
[Hernandez, 2005]
(INAOE) Octubre 28, 2009 8 / 53

9. ´
Representacion
´
Representacion del ambiente 2/2
Contenido Distancia ´
Angulo Atrib Tipo
´
Introduccion 2.18 -73 -1.41 izquierda
Representa-
´
cion
2.17 -47 0 esquina
Aprendizaje 3.46 -89.5 1.06 pared
de PTRs
´
basicos
Aprendizaje Ventaja
de PTRs
´
jerarquicos
´
Esta transformacion reduce de cientos de datos por estado
Experimentos
Experimentos para
´
navegacion
a unos pocos atributos significativos
´
Clasificacion de
ademanes
Conclusiones ´ ´ ´
Se agrega la posicion y orientacion del robot, informacion
de los sonares traseros y la meta. Se transforma en los
siguientes
´
Pares estado-accion:
´
[robot(X,Y,Θ),atras(n),meta(Xg,Yg),marca(Dist,Angulo,Atrib,Tipo),..,],Accion
´ ´
´
[robot(X,Y,Θ),atras(n),meta(Xg,Yg),marca(Dist,Angulo,Atrib,Tipo),..,],Accion
´ ´
.
(INAOE) . Octubre 28, 2009 9 / 53

10. ´
Aprendizaje de PTRs basicos
´
Aprendizaje de PTRs basicos
Contenido
´
Introduccion
Representa-
´
cion
Aprendizaje
de PTRs
´
basicos
Aprendizaje
de PTRs
´
jerarquicos
Experimentos
Experimentos para
´
navegacion
´
Clasificacion de
ademanes
Conclusiones
(INAOE) Octubre 28, 2009 10 / 53

11. ´
Aprendizaje de PTRs basicos
´ ´
Definicion de la tarea de navegacion
Contenido
´
Introduccion
Representa-
´
cion
Meta
obstáculo dinámico Sub-tareas
Aprendizaje
de PTRs
girar-derecha
´
basicos • Deambular.
Aprendizaje
de PTRs girar-izquierda • Orientarse.
´
jerarquicos
Experimentos
• Salir de
orientarse avanzar
Experimentos para
´
navegacion trampas.
´
Clasificacion de
ademanes
salir-de-
• Seguir a un
Conclusiones trampa ´
objeto movil.
orientarse
(INAOE) Octubre 28, 2009 11 / 53

12. ´
Aprendizaje de PTRs basicos
´ ´
¿Como se aprendio?
Contenido
´
Introduccion
Representa-
´
cion
Aprendizaje
de PTRs
´
basicos
Aprendizaje
´
Mediante clonacion, se
de PTRs
´
jerarquicos
aprenden PTRs para que el
Experimentos
robot pueda realizar las
Experimentos para
´
navegacion
sub-tareas definidas.
´
Clasificacion de
ademanes
Conclusiones
(INAOE) Octubre 28, 2009 12 / 53

13. ´
Aprendizaje de PTRs basicos
´
Clonacion
Contenido
Extraer conocimiento expl´cito de habilidades de bajo nivel
ı
´
Introduccion
(Michie,1992).
Representa-
´
cion • Obtener ejemplos o trazas.
Aprendizaje
de PTRs
• Dar las trazas como entrada a
´
basicos algoritmos de aprendizaje.
Aprendizaje
de PTRs • Obtener modelos que al
´
jerarquicos
´
ejecutarse produciran
Experimentos
Experimentos para
´
navegacion
comportamientos similares a
´
Clasificacion de
ademanes
´
quien genero los modelos.
Conclusiones • Se les llama clones porque
reproducen la habilidad de
una persona o sistema.
(INAOE) Octubre 28, 2009 13 / 53

14. ´
Aprendizaje de PTRs basicos
Programas Teleo-Reactivos
Contenido
´
Conjunto de clausulas que ejecutan cont´nuamente una
ı
´
Introduccion ´
accion en el estado actual mientras sus condiciones son
Representa- satisfechas (Nilsson, 1994).
´
cion
´
ptr1(Estado,Accion) ←
Aprendizaje
de PTRs ´
condicion meta(Estado).
´
basicos ´
ptr1(Estado,Accion) ←
Aprendizaje ´
condicion1(Estado,...),
de PTRs ´
condicion2(Estado, ...),
´
jerarquicos ...
Experimentos ptr1(Estado, PTR2 ) ←
Experimentos para
´
navegacion
´
condicion1(Estado,...),
´
Clasificacion de ´
condicion3(Estado, ...), . . .
ademanes
...
Conclusiones
Ventaja
Uso de acciones cont´nuas,
ı
capaces de reaccionar en un
´
ambiente dinamico.
(INAOE) Octubre 28, 2009 14 / 53

15. ´
Aprendizaje de PTRs basicos
Contenido
´
Introduccion
´
PTRs basicos
Representa- Sus acciones son
´
cion
Aprendizaje
unicamente acciones
´
de PTRs
´
´
atomicas
basicos
Aprendizaje
de PTRs
´
jerarquicos
Experimentos
Experimentos para
´
navegacion
´
Clasificacion de
ademanes
Conclusiones
´
PTRs jerarquicos
Sus acciones pueden
incluir otros PTRs
(INAOE) Octubre 28, 2009 15 / 53

16. ´
Aprendizaje de PTRs basicos
´
Aprendizaje de PTRs basicos
Contenido
Objetivo: Producir un conjunto de predicados que
´
Introduccion ´
devuelvan una accion particular, capturando el
Representa- comportamiento deseado.
´
cion
1 Dados: una traza (o trazas), un predicado objetivo y
Aprendizaje
de PTRs posible conocimiento del dominio
´
basicos
Aprendizaje
´
2 Generar ejemplos negativos. Se realizo intercambiando
de PTRs
´
jerarquicos
las acciones.
Experimentos 3 Aprender PTRs usando ALEPH (un sistema de ILP).
Experimentos para
´
navegacion
´
Clasificacion de
ademanes
Conclusiones
(INAOE) Octubre 28, 2009 16 / 53

17. ´
Aprendizaje de PTRs basicos
Conocimiento del dominio
Contenido
´
Introduccion
Representa-
´
cion
Aprendizaje
de PTRs
´
basicos
Aprendizaje
de PTRs
´
jerarquicos
Experimentos
Experimentos para
´
navegacion
´
Clasificacion de
ademanes
Conclusiones
(INAOE) Octubre 28, 2009 17 / 53

18. ´
Aprendizaje de PTRs basicos
Ejemplo: deambular
Contenido
Entrada: trazas de deambular, el
´
Introduccion
predicado objetivo, el concepto
Representa-
´
cion aprendido zona-frontal, zona-trasera y el
Aprendizaje predicado para obtener la marca mas´
de PTRs
´
basicos cercana.
Aprendizaje
de PTRs Salida:
´
jerarquicos
Experimentos deambular(Estado,avanzar) ←
Experimentos para
´
navegacion zona-frontal(Estado,libre).
´
Clasificacion de
ademanes deambular(Estado,girar-izq) ← Robot controlado por el PTR
Conclusiones ´
zona-frontal(Estado,obstaculo), para deambular
obst-cercano(Estado,Marca,Dist,Ang),
menor-igual(Ang,-1.51)).
deambular(Estado,girar-der) ←
´
zona-frontal(Estado,obstaculo).
(INAOE) Octubre 28, 2009 18 / 53

19. ´
Aprendizaje de PTRs jerarquicos
´
Aprendizaje de PTRs jerarquicos
Contenido
´
Introduccion
Representa-
´
cion
Aprendizaje
de PTRs
´
basicos
Aprendizaje
de PTRs
´
jerarquicos
Experimentos
Experimentos para
´
navegacion
´
Clasificacion de
ademanes
Conclusiones
(INAOE) Octubre 28, 2009 19 / 53

20. ´
Aprendizaje de PTRs jerarquicos
´
Aprendizaje de gramaticas
Contenido FOSeq (First Order Sequence learning)
´
Introduccion
Representa-
´
cion
´
Entrada: un conjunto de secuencias de PTRs basicos
Aprendizaje obtenidas al guiar al robot.
de PTRs
´
basicos FOSeq:
Aprendizaje
de PTRs
´
jerarquicos
1 ´
Induce una gramatica para cada secuencia,
Experimentos
identificando elementos repetidos (n-gramas).
Experimentos para
´
navegacion 2 ´
Evalua las secuencias con cada gramatica aprendida y
´
´
Clasificacion de
ademanes
´
selecciona la gramatica mejor evaluada.
Conclusiones
3 ´ ´
Aplica un proceso de generalizacion a la gramatica
´
mejor evaluada y las gramaticas que aportan elementos
nuevos.
´
Salida: Una gramatica que puede usarse como controlador
´
(PTR jerarquico) o como clasificador.
(INAOE) Octubre 28, 2009 20 / 53

21. ´
Aprendizaje de PTRs jerarquicos
´
Induccion
Contenido
´
Introduccion
Representa-
´
cion
• El algoritmo busca los n-gramas (e.g., sub-secuencias
Aprendizaje de n-elementos) que aparezcan al menos dos veces en
de PTRs
´
basicos
la secuencia.
Aprendizaje • Los n-gramas candidatos son buscados de forma
de PTRs
´
jerarquicos incremental por su longitud.
Experimentos
Experimentos para
• El n-grama con mayor frecuencia es seleccionado,
´
navegacion
´
Clasificacion de ´
generando una nueva regla para la gramatica y
ademanes
Conclusiones
reemplazando con un s´mbolo no-terminal todas las
ı
ocurrencias del n-grama que aparecen en la secuencia
original.
(INAOE) Octubre 28, 2009 21 / 53

22. ´
Aprendizaje de PTRs jerarquicos
´
Induccion: ejemplo
Contenido
´
Introduccion
Representa-
´
cion S→a b c b c b c b a b c b d b e b c S2 → R2 d b e R1
Aprendizaje b c (5) R1 → b c
de PTRs Agrega: R1 → b c R2 → a R1 b
´
basicos
S1 → a R1 R1 R1 b a R1 b d b e R1
Aprendizaje Eliminando elementos repetidos:
de PTRs
´
jerarquicos S1 → a R1 b a R1 b d b e R1
Experimentos R1 b (2)
Experimentos para
´
navegacion
a R1 (2)
´
Clasificacion de a R1 b (2)
ademanes
Agrega: R2 → a R1 b R2 d b e R1
Conclusiones S2 → R2 R2 d b e R1
Eliminando elementos repetidos: a R1 b b c
S2 → R2 d b e R1
b c
(INAOE) Octubre 28, 2009 22 / 53

23. ´
Aprendizaje de PTRs jerarquicos
´
Induccion: con predicados
Contenido
Cuando los elementos de la secuencia son predicados, la
´
Introduccion
´ ´ ´
gramatica inducida es una Gramatica de Clausula Definida
Representa-
´
cion (GCD). Las GCDs:
Aprendizaje
de PTRs
´ ´
• Son una extension de las gramaticas libres de contexto,
´
basicos
• pueden tener argumentos y
Aprendizaje
de PTRs
´
jerarquicos
• son expresadas y ejecutadas en Prolog.
Experimentos
Experimentos para
´
navegacion
´
Clasificacion de
´
La entrada es una secuencia de PTRs basicos como la
ademanes
siguiente:
Conclusiones
Entrada
´ ´ ´
pred1(Estado1,accion1), pred2(Estado2,accion1), pred1(Estado3,accion2), . . .
(INAOE) Octubre 28, 2009 23 / 53

24. ´
Aprendizaje de PTRs jerarquicos
´
Evaluacion
Contenido
´
Introduccion ´
• Cada gramatica aprendida se usa para analizar
Representa- ´
sintacticamente todas las secuencias del conjunto
´
cion
Aprendizaje
proporcionado por el usuario.
de PTRs
´
basicos ´
• Por cada secuencia analizada, la gramatica recibe una
Aprendizaje ´ ´
evaluacion, calculada por la funcion:
de PTRs
´
jerarquicos
n
Experimentos cj
Experimentos para eval(Gi ) = (1)
´
navegacion cj + fj
´
Clasificacion de
ademanes
j=1
Conclusiones donde cj y fj representan el numero de elementos que
´
´
la gramatica es capaz o incapaz de aceptar,
respectivamente.
´
• La gramatica mejor evaluada es seleccionada.
(INAOE) Octubre 28, 2009 24 / 53

25. ´
Aprendizaje de PTRs jerarquicos
´
Generalizacion
Contenido
´
Introduccion
´
La idea principal es obtener una nueva gramatica que
Representa-
´
cion ´
mejore la cobertura de gramatica mejor evaluada.
Aprendizaje
de PTRs
´
1 Seleccionar la gramatica que proporciona el mayor
´
basicos
numero de elementos nuevos o unificaciones diferentes
´
Aprendizaje
de PTRs de predicados.
´
jerarquicos
´
2 Calcular el lgg (generalizacion menos general) entre las
Experimentos
Experimentos para
´
navegacion
´
reglas de ambas gramaticas.
´
Clasificacion de
ademanes 3 Aceptar la nueva regla si mejora la cobertura original, si
Conclusiones no, descartarla.
4 Terminar el proceso hasta alcanzar un umbral de
cobertura o hasta que no hay mejora.
(INAOE) Octubre 28, 2009 25 / 53

26. ´
Aprendizaje de PTRs jerarquicos
Ejemplo lgg
Contenido
´
Introduccion
Representa-
´
cion ´
c1 = pred(Estado,accion1) ← ´
c2 = pred(Estado,Accion) ←
´
cond1(Estado,accion1), ´
cond1(Estado,accion1),
Aprendizaje
de PTRs ´
cond2(Estado,accion2). ´
cond2(Estado,accion3).
´
basicos
Aprendizaje
de PTRs
´
jerarquicos ´
Calculando el lgg(c1,c2), la clausula es:
Experimentos
Experimentos para
´
pred(Estado,Accion) ←
´
navegacion ´
cond1(Estado,accion1),
´
Clasificacion de
ademanes ´
cond2(Estado,Accion).
Conclusiones
´ ´
donde las constantes accion2 y accion3 del predicado
´
cond2 son reemplazadas por la variable Accion.
(INAOE) Octubre 28, 2009 26 / 53

27. ´
Aprendizaje de PTRs jerarquicos
´
De gramatica a programa
Contenido ´
R1 → orientar(Estado1,Accion),
´
Introduccion ´
deambular(Estado2,accion1)
Representa-
´
R2 → orientar(Estado1,accion2),
´
cion ´
deambular(Estado2,Accion)
Aprendizaje
´
R3 → orientar(Estado1,accion3),
de PTRs ´
deambular(Estado2,Accion)
´
basicos
Aprendizaje
de PTRs
´
jerarquicos ´ ´
(R1) pred-nuevo1(Estado1,accion1) → orientarse(Estado1,Accion),
Experimentos ´
deambular(Estado2,accion1)
Experimentos para ´ ´
(R2) pred-nuevo2(Estado1,Accion) → orientar(Estado1,accion2),
´
navegacion
´
Clasificacion de
´
deambular(Estado2,Accion)
ademanes ´ ´
(R3) pred-nuevo3(Estado1,Accion) → orientar(Estado1,accion3),
Conclusiones ´
deambular(Estado2,Accion)
Cada regla puede interpretarse como una sub-tarea
(INAOE) Octubre 28, 2009 27 / 53

28. ´
Aprendizaje de PTRs jerarquicos
´
Ejemplo en navegacion: PTR para ir a un
Contenido
punto (deambular + orientarse)
´
Introduccion ´
Entrada: secuencias de los PTRs basicos deambular y
Representa-
´
cion orientar.
Aprendizaje orientar(Estado,girar-izq),deambular(Estado,girar-izq), deambular(Estado,girar-der),
de PTRs deambular(Estado,avanzar),orientar(Estado,girar-izq),deambular(Estado,avanzar),. . .
´
basicos
...
Aprendizaje
de PTRs
´
jerarquicos
Salida:
Experimentos
ir-a(Estado,nil) ←
Experimentos para en-meta(Estado).
´
navegacion
´
Clasificacion de
´
ir-a(Estado,Accion) ←
ademanes orientar(Estado,ninguna),
Conclusiones ´
deambular(Estado,Accion).
´
ir-a(Estado,Accion) ←
deambular(Estado,avanzar),
´
orientar(Estado,Accion).
´
ir-a(Estado,Accion) ←
´
deambular(Estado,Accion).
(INAOE) Octubre 28, 2009 28 / 53

29. Experimentos
Experimentos
Contenido
´
Introduccion
Representa-
´
cion
Aprendizaje
de PTRs
´
basicos
Aprendizaje
de PTRs
´
jerarquicos
Experimentos
Experimentos para
´
navegacion
´
Clasificacion de
ademanes
Conclusiones
(INAOE) Octubre 28, 2009 29 / 53

30. Experimentos ´
Experimentos para navegacion
´
Plataforma de simulacion
Contenido
´
Se utilizo el software para control de robots Player/Stage.
´
Introduccion
• Diferentes escenarios: 10 mapas
Representa-
´
cion diferentes a los de entrenamiento.
Aprendizaje
de PTRs ´ ´
• Obstaculos fijos y moviles de
´
basicos
˜
diversas formas y tamanos.
Aprendizaje
de PTRs ´
• Limitaciones del sensor laser: 50 cm
´
jerarquicos
Experimentos
sobre el piso de forma paralela, se
Experimentos para
´
navegacion
´
evito el vidrio.
´
Clasificacion de
ademanes ´
• Precision:
Conclusiones
e
p= × 100 (2)
e+f
donde e es el numero de tareas o sub-tareas
´
realizadas exitosamente y f es el numero de tareas
´
o sub-tareas que fallaron.
(INAOE) Octubre 28, 2009 30 / 53

31. Experimentos ´
Experimentos para navegacion
Mapas
Contenido
Mapas de entrenamiento Mapas de prueba
´
Introduccion
Representa-
´
cion
Aprendizaje
de PTRs
´
basicos
Aprendizaje
de PTRs
´
jerarquicos
Experimentos
Experimentos para
Ventaja
´
navegacion
´
Clasificacion de
ademanes Los PTRs aprendidos pueden
Conclusiones usarse en ambientes distintos
al de entrenamiento
(INAOE) Octubre 28, 2009 31 / 53

32. Experimentos ´
Experimentos para navegacion
PTRs aprendidos
Contenido
´
PTR basico E+ y E− Conoc-dom Acciones
deambular 979 zona-frontal* avanzar
´
Introduccion
orientar 2982 zona-trasera* girar-der
Representa- salir-de-trampa 952 menor-igual girar-izq
´
cion
seguir 619 mayor-igual detener
Aprendizaje obst-mas-cercano retroceder
de PTRs ´
obtener-angulos
´
basicos
zona-orienta*
Aprendizaje config-paredes*
de PTRs
´
jerarquicos lado-pared*
zona-seguir*
Experimentos
Experimentos para
rango-distancia*
´
navegacion obtener-vals
´
Clasificacion de
ademanes
Conclusiones (*) significa que el concepto fue aprendido
´
PTR jerarquico No. de secuencias
deambular + orientar (ir a un punto) 12
deambular + orientar + salir de trampa 16
seguir + deambular 10
seguir + deambular + salir de trampa 14
´
PTRs jerarquicos aprendidos y numero de trazas
´
(INAOE) Octubre 28, 2009 32 / 53

33. Experimentos ´
Experimentos para navegacion
´
Ejemplos: PTRs basicos
Contenido
Meta Meta Meta Meta
´
Introduccion
Representa-
´
cion
Aprendizaje
de PTRs Salir de trampa
´
basicos
Aprendizaje
de PTRs
´
jerarquicos
Experimentos Deambular
Experimentos para
´
navegacion
´
Clasificacion de
ademanes
Conclusiones
Orientar ´
Seguir a un objeto movil
(INAOE) Octubre 28, 2009 33 / 53

34. Experimentos ´
Experimentos para navegacion
´
Ejemplos: PTRs jerarquicos
Contenido
´
Introduccion
Representa-
´
cion
Aprendizaje
de PTRs
´
basicos
Aprendizaje
de PTRs Ir a un punto
´
jerarquicos
Experimentos
Experimentos para
´
navegacion
´
Clasificacion de
ademanes
Conclusiones
Visitando distintos lugares
(INAOE) Octubre 28, 2009 34 / 53

35. Experimentos ´
Experimentos para navegacion
´ ´
Simulacion: Precision de PTRs
Contenido PTR Pruebas ´
Precision
´
Introduccion Deambular 30 86.67 %
Representa- Orientar 30 100.00 %
´
cion
Aprendizaje
Salir de trampa 30 80.00 %
de PTRs
´
basicos
Seguir 40 97.50 %
Aprendizaje
de PTRs
´
jerarquicos PTR Pruebas ´
Precision
Experimentos deambular + orientar 30 86.67 %
Experimentos para
´
navegacion
´
Clasificacion de
(ir a un punto)
ademanes
deambular + orientar + 30 93.33 %
Conclusiones
salir de trampa
seguir + deambular 40 90.00 %
seguir + deambular + 40 100.00 %
salir de trampa
visitar 5 lugares* 30 96.67 %
(INAOE) Octubre 28, 2009 35 / 53

36. Experimentos ´
Experimentos para navegacion
´ ´
Modulo de navegacion para Markovito
Contenido
´
Introduccion
Representa-
´
cion
Robot PeopleBot de ActivMedia equipado con un anillo de
Aprendizaje ´ ´
16 sonares en la parte inferior y sistema de vision estereo.
de PTRs
´
basicos
Aprendizaje • Navegar hacia distintos
de PTRs
´
jerarquicos lugares.
Experimentos
Experimentos para
• Seguir a una persona.
´
navegacion
´
Clasificacion de
ademanes
• Encontrar un objeto.
Conclusiones • Entregar
mensajes/objetos.
(INAOE) Octubre 28, 2009 36 / 53

37. Experimentos ´
Experimentos para navegacion
Navegar hacia distintos lugares
Contenido
´
Introduccion
Representa-
´
cion
Aprendizaje
de PTRs
´
basicos
Aprendizaje
de PTRs
´
jerarquicos
Visitando distintos lugares
Experimentos
Experimentos para
´
navegacion
´
Clasificacion de
ademanes
Conclusiones
(INAOE) Octubre 28, 2009 37 / 53

38. Experimentos ´
Experimentos para navegacion
Seguir a una persona
Contenido
´
Introduccion
Representa-
´
cion
Aprendizaje
de PTRs
´
basicos
Aprendizaje
de PTRs
´
jerarquicos
Experimentos
Experimentos para
´
navegacion
´
Clasificacion de
ademanes
Conclusiones
´
El PTR de seguimiento se adapt´ para seguir a una persona. Esto se hizo
o
´ ´
reemplazando el proceso de identificacion de marcas utilizando un sensor laser
´ ´
por un proceso de identificacion de marcas visuales (Sanchez-Texis, 2008).
(INAOE) Octubre 28, 2009 38 / 53

39. Experimentos ´
Experimentos para navegacion
´
Markovito: Precision de PTRs
Contenido
´
Introduccion
Representa-
´
cion
Aprendizaje
de PTRs
´
basicos
Pruebas Intervenciones ´
Precision
Aprendizaje
de PTRs Ir a un punto 120 20 85.00 %
´
jerarquicos
Seguir a 20 3 90.00 %
Experimentos
Experimentos para una persona
´
navegacion
´
Clasificacion de
ademanes
Conclusiones
(INAOE) Octubre 28, 2009 39 / 53

40. Experimentos ´
Experimentos para navegacion
´
Comparacion deliberativo/PTRs
Contenido
´
Introduccion
Representa-
´
cion
Aprendizaje ´
Se realizaron tres tipos de pruebas de navegacion con el fin
de PTRs
´
basicos de observar las ventajas y desventajas de tres enfoques:
Aprendizaje
de PTRs ´ ´
• Con la pol´tica optima obtenida con iteracion de valor
ı
´
jerarquicos
Experimentos
(DELIB).
Experimentos para
´
navegacion • Con PTRs.
´
Clasificacion de
ademanes
• Con una pol´tica que combina DELIB con PTRs.
ı
Conclusiones
(INAOE) Octubre 28, 2009 40 / 53

41. Experimentos ´
Experimentos para navegacion
´
Comparacion deliberativo/PTRs
Contenido
´
Introduccion
Representa-
´
cion
Aprendizaje
de PTRs (a) DELIB (b) PTR (c) a + b
´
basicos
´
Ventaja DELIB: Las trayectorias generadas por este enfoque son las optimas.
Aprendizaje
de PTRs Desventaja DELIB: debe conocer el ambiente.
´
jerarquicos
Experimentos
Experimentos para
´
navegacion
´
Clasificacion de
ademanes
Conclusiones
(a) DELIB (b) PTR (c) a + b
Ventaja PTRs: El robot puede reaccionar ante obst´
aculos inesperados y llegar a la
´
meta aunque no lo haga con una trayectoria optima. No necesita conocer el
ambiente.
Desventaja PTRs: puede recorrer mayor distancia.
(INAOE) Octubre 28, 2009 41 / 53

42. Experimentos ´
Experimentos para navegacion
Experimentos
Contenido
´
Introduccion
Representa-
´
cion
Aprendizaje
de PTRs
´
basicos
Aprendizaje
de PTRs
´
jerarquicos
Experimentos
Experimentos para
´
navegacion
´
Clasificacion de
ademanes
Conclusiones
(INAOE) Octubre 28, 2009 42 / 53

43. Experimentos ´
Clasificacion de ademanes
´
Ejemplo: gramaticas de ademanes
Contenido
´ ´
Objetivo: aprender una gramatica para cada ademan (9)
´
Introduccion ´
enfocandonos en el reconocimiento de ademanes
Representa- realizados por una persona.
´
cion
Aprendizaje
de PTRs
´
basicos
Aprendizaje
de PTRs
´
jerarquicos
(a) (b) (c) (d) (e)
Experimentos
Experimentos para
´
navegacion
´
Clasificacion de
ademanes
Conclusiones
(f) (g) (h) (i) (j)
´ ´
(a) posicion inicial y final, (b) atencion, (c) acercar, (d) izquierda, (e) derecha, (f)
detener, (g) girar-hacia-la-derecha, (h) girar-hacia-la-izquierda, (i) saludar, (j)
apuntar ´
[Aviles,2006]
(INAOE) Octubre 28, 2009 43 / 53

44. Experimentos ´
Clasificacion de ademanes
´
Representacion 1/2
Contenido
´
Introduccion
Cada secuencia es un vector formado por conjuntos de
Representa-
´
siete atributos que describen al ademan. Un ejemplo de una
´
cion secuencia es la siguiente:
Aprendizaje
de PTRs
´
basicos
(+ + −− T F F),(+ + −+ T F F),(+ + +0 T F F),(+ + ++T F F)...
Aprendizaje
de PTRs
´
jerarquicos
Atributos de movimiento Atributos de postura
Experimentos
Experimentos para • ∆area • Forma : horizontal(−),
´
navegacion
´
Clasificacion de
ademanes • ∆x vertical(+), inclinada (0).
Conclusiones
• ∆y • Arriba (de la cabeza).
Pueden tomar los valores • Derecha (de la cabeza).
{+,−,0}: incremento, • Torso (sobre el torso).
decremento o ninguno.
(INAOE) Octubre 28, 2009 44 / 53

45. Experimentos ´
Clasificacion de ademanes
´
Representacion 2/2
Contenido
´
Introduccion
Representa-
´
cion
Aprendizaje
de PTRs
´
Las secuencias son transformadas a una representacion de
´
basicos
primer orden reemplazando sus atributos con un predicado.
Aprendizaje
de PTRs
´
jerarquicos hmov(Estado,derecha), vmov(Estado,subiendo),
Experimentos
Experimentos para
˜
tamano(Estado,inc), forma(Estado,vertical),
´
navegacion
´
Clasificacion de
derecha(Estado,si), en rostro(Estado,no),. . .
ademanes
Conclusiones
(INAOE) Octubre 28, 2009 45 / 53

46. Experimentos ´
Clasificacion de ademanes
Entrenamiento y prueba
Contenido
• Conjuntos de entrenamiento: De 50 secuencias por
´
Introduccion
´
ademan se seleccionaron aleatoriamente 20
Representa-
´
cion secuencias. Las secuencias restantes forman el
Aprendizaje conjunto de prueba.
de PTRs
´
basicos
• Conjuntos de prueba: dos sub-conjuntos seleccionando
Aprendizaje
de PTRs aleatoriamente 2 y 10 secuencias para cada uno.
´
jerarquicos
• Ejemplos negativos: 1 secuencia aleatoria de cada
Experimentos
Experimentos para
´
navegacion
´
ademan.
´
Clasificacion de
ademanes ´ ´ ´
• Se aprendio una gramatica para cada ademan,
Conclusiones ´
obteniendo 9 gramaticas.
´
• Se mostro cada secuencia del conjunto de pruebas a
´ ´
las gramaticas. La gramatica que obtuviera la mejor
´ ´
evaluacion corresponde al ademan mostrado.
´
• Se repitio el proceso 10 veces para cada sub-conjunto.
(INAOE) Octubre 28, 2009 46 / 53

47. Experimentos ´
Clasificacion de ademanes
´
Comparacion con HMMs
Contenido
´
Introduccion
Representa-
´
cion
Aprendizaje
de PTRs
´
basicos
´
Precision global
Aprendizaje
de PTRs
´
jerarquicos
Experimentos
2 secuencias 10 secuencias
Experimentos para
´
navegacion
FOSeq HMMs FOSeq HMMs
´
Clasificacion de
ademanes 95.17 % 94.85 % 97.34 % 97.56 %
Conclusiones
(INAOE) Octubre 28, 2009 47 / 53

48. Experimentos ´
Clasificacion de ademanes
´
Matriz de confusion para 10 secuencias
Contenido
´
Prediccion
´
Introduccion 1 2 3 4 5 6 7 8 9 Tota
1 99.33 0.67 300
Representa- 2 97.24 2.76 290
´
cion 3 100.00 290
Clase real
4 13.10 1.72 85.17 290
Aprendizaje 5 100.00 300
de PTRs 6 1.03 97.59 1.38 290
´
basicos 7 2.07 96.55 1.38 290
8 100.00 290
Aprendizaje
9 100.00 290
de PTRs
Total 301 320 295 255 306 283 280 292 298 263
´
jerarquicos
Experimentos ´
1) atencion, 2) acercar, 3) izquierda, 4) apuntar, 5) derecha, 6) detenerse, 7) girar-hacia-la-izquierda, 8)
Experimentos para
´
navegacion
´ ´ ´
girar-hacia-la-derecha, 9) saludar. La ultima columna indica el numero total de secuencias de cada ademan.
´
Clasificacion de
ademanes
´ ´
El ultimo renglon indica el numero de secuencias clasificadas como la clase indicada en la columna.
´
Conclusiones
Ademanes mejor clasificados: izquierda, derecha,
girar-hacia-la-derecha y saludar.
´
Ademan peor clasificado: apuntar, donde 13 % de los ejemplos
se clasificaron como acercar.
(INAOE) Octubre 28, 2009 48 / 53

49. Experimentos ´
Clasificacion de ademanes
´
Ejemplo de gramaticas de ademanes
Contenido
´
Introduccion
Acercar Apuntar
Representa-
´
cion ˜
S → R5,tamano(dec), ˜
S → R9,R4,R5,R4,tamano(inc),
forma(vertical),R12,R10,R2,R7, forma(vertical),R2,hmov(ninguno),. . .
Aprendizaje
de PTRs R11,R13,vmov(bajando), . . . R1 → en rostro(Estado,no),
´
basicos R1 → en rostro(Estado,no), sobre torso(Estado,si)
Aprendizaje sobre torso(Estado,si) R2 → derecha(Estado,no),R1
de PTRs R2 → forma(Estado,horizontal), ...
´
jerarquicos
derecha(Estado,no),R1
Experimentos ...
Experimentos para
´
navegacion
´
Clasificacion de
ademanes
Conclusiones
(INAOE) Octubre 28, 2009 49 / 53

50. Conclusiones
Contribuciones de la tesis
Contenido
´
Introduccion
Representa-
´
cion
Aprendizaje
de PTRs
´
basicos
´
• Representacion de alto nivel mediante una
Aprendizaje ´ ´
transformacion de informacion de bajo nivel.
de PTRs
´
jerarquicos • Algoritmo para aprendizaje de conceptos y PTRs
Experimentos ´
basicos.
Experimentos para
´
navegacion
´
Clasificacion de ´
• Algoritmo para aprendizaje de gramaticas.
ademanes
Conclusiones
(INAOE) Octubre 28, 2009 50 / 53

51. Conclusiones
Conclusiones
Contenido
´
Introduccion
Representa-
´
cion
´
• Una representacion relacional a partir de datos crudos
Aprendizaje
de PTRs abre posibilidades de utilizar diferentes algoritmos de
´
basicos
Aprendizaje
aprendizaje al reducir el volumen de datos que los
de PTRs
´
jerarquicos
sensores producen.
Experimentos • Los PTRs aprendidos en un ambiente pueden ser
Experimentos para
´
navegacion utilizados en nuevos ambientes con caracter´sticas
ı
´
Clasificacion de
ademanes
similares.
Conclusiones
´ ´
• La clonacion facilita la programacion de un robot.
(INAOE) Octubre 28, 2009 51 / 53

52. Conclusiones
Conclusiones
Contenido
´
Introduccion
Representa-
´
cion ´
• Las gramaticas aprendidas permiten expresar
Aprendizaje
de PTRs
´
sub-tareas en el caso de navegacion o sub-ademanes
´
basicos ´
en el caso de la clasificacion de ademanes.
Aprendizaje
de PTRs ´ ´
• La representacion expl´cita de las gramaticas permite
ı
´
jerarquicos
analizar similitudes y diferencias entre ademanes.
Experimentos
Experimentos para
´
navegacion
´ ´ ´
• La induccion de gramaticas se probo en el aprendizaje
´
Clasificacion de
ademanes ´ ´
de PTRs jerarquicos de navegacion y para generar
Conclusiones ´ ´
gramaticas de ademanes para clasificacion. En ambas
aplicaciones se obtuvieron buenos resultados.
(INAOE) Octubre 28, 2009 52 / 53

53. Conclusiones
Trabajo futuro
Contenido
´
Introduccion ´
• Establecimiento de diferentes criterios de evaluacion de
Representa-
´
comportamientos.
cion
Aprendizaje ´
• Aprendizaje con retroalimentacion.
de PTRs
´
basicos • Aprendizaje de PTRs para resolver situaciones de
Aprendizaje
de PTRs
conflicto.
´
jerarquicos
• Aprendizaje de valores de velocidad.
Experimentos
Experimentos para
´
navegacion
´ ´
• Ampliacion de la representacion del ambiente.
´
Clasificacion de
ademanes • Aprendizaje de jerarqu´as con mas niveles.
ı
Conclusiones
´
• Creacion de nuevos predicados para estados
desconocidos.
´
• Mejora del algoritmo de generalizacion en el
´
aprendizaje de gramaticas.
(INAOE) Octubre 28, 2009 53 / 53