Breve introducción a control óptimo y programación dinámica
1. Ecuaciones de Bellman, HJB y
Pontryagin
Breve Introducción
al Control Óptimo y
a la Programación
Dinámica
Análisis Cuantitativo del Riesgo
David Solís
2. Control a Tiempo Discreto
Caso Estocástico
Límite Continuo
Principio del Minimo Pontryagin
Introducción
Referencias
1
2
3
4
5
6
3. Introducción
‣ Teoría del control óptimo
• Optimizar la suma de costos de la ruta y el costo final. El resultado es la secuencia de
control óptima y la trayectoria óptima
• Entrada: Función de costo
• Salida: Trayectoria y controles óptimos
3
G-‐NIUS
Hybrid
Unmanned
Ground
Vehicle
4. Introducción
‣ Optimización de trayectorias para naves espaciales
• Trayectoria de retorno de la luna a la tierra para ahorro de
combustible
‣ Finanzas
• Idear una secuencia de ordenes de compra / venta para
maximizar el beneficio
4
Los problemas de control son problemas donde la
recompensa se encuentra posteriormente
5. Tipos de Problemas de Control Óptimo
‣ Dinámica y ambiente pueden depender
explícitamente del tiempo
‣ El control óptimo depende explícitamente del tiempo
5
Horizonte finito (horizonte de tiempo fijo)
6. Tipos de Problemas de Control Óptimo
‣ Dinámica y ambiente son estáticos
‣ El control óptimo es independiente del tiempo
6
Horizonte finito (horizonte móvil)
7. Tipos de Problemas de Control Óptimo
‣ Tiempo mínimo
‣ Horizonte Infinito
• Recompensa con descuento, aprendizaje por refuerzo
• Recompensa total, estados de absorción
• Recompensa promedio
‣ Otras consideraciones
• Discreto vs. estado continuo
• Discreto vs. tiempo continuo
• Observable vs. observable parcial
7
19. 15
Principio de Optimalidad de Bellman
[Bellman, R.E.: “Dynamic Programming”. Princeton
University Press, 1957]
Una política óptima tiene la propiedad de que,
sean cuales sea el estado inicial y la decisión
inicial, las decisiones restantes deben constituir
una solución óptima con respecto al estado
resultante de la primera decisión.
31. Control a Tiempo Discreto
Caso Estocástico
Límite Continuo
Principio del Minimo de Pontryagin
Introducción
Referencias
1
2
3
4
5
6
32. Principio del mínimo de Pontryagin
25
Una$alternativa$es$el$enfoque$variacional$que$directamente$encuentra$la$trayectoria$óptima$
y$el$control$óptimo.$