SlideShare una empresa de Scribd logo
1 de 41
Ecuaciones de Bellman, HJB y
Pontryagin
Breve Introducción
al Control Óptimo y
a la Programación
Dinámica
Análisis Cuantitativo del Riesgo
David Solís
Control a Tiempo Discreto
Caso Estocástico
Límite Continuo
Principio del Minimo Pontryagin
Introducción
Referencias
1
2
3
4
5
6
Introducción
‣ Teoría del control óptimo
• Optimizar la suma de costos de la ruta y el costo final. El resultado es la secuencia de
control óptima y la trayectoria óptima
• Entrada: Función de costo
• Salida: Trayectoria y controles óptimos
3
G-­‐NIUS	
  Hybrid	
  Unmanned	
  Ground	
  Vehicle
Introducción
‣ Optimización de trayectorias para naves espaciales
• Trayectoria de retorno de la luna a la tierra para ahorro de
combustible
‣ Finanzas
• Idear una secuencia de ordenes de compra / venta para
maximizar el beneficio
4
Los problemas de control son problemas donde la
recompensa se encuentra posteriormente
Tipos de Problemas de Control Óptimo
‣ Dinámica y ambiente pueden depender
explícitamente del tiempo
‣ El control óptimo depende explícitamente del tiempo
5
Horizonte finito (horizonte de tiempo fijo)
Tipos de Problemas de Control Óptimo
‣ Dinámica y ambiente son estáticos
‣ El control óptimo es independiente del tiempo
6
Horizonte finito (horizonte móvil)
Tipos de Problemas de Control Óptimo
‣ Tiempo mínimo
‣ Horizonte Infinito
• Recompensa con descuento, aprendizaje por refuerzo
• Recompensa total, estados de absorción
• Recompensa promedio
‣ Otras consideraciones
• Discreto vs. estado continuo
• Discreto vs. tiempo continuo
• Observable vs. observable parcial
7
Intuición
8
! ∈ Χ!representa!el!medio!ambiente!de!un!agente!
! ∈ U(x)!la!acción!o!control!que!el!agente!elige!cuando!se!encuentra!en!el!estado!x!
!
!"#$(!, !) ∈ Χ!denota!el!estado!que!resulta!de!aplicar!la!acción!!!en!el!estado!!!
!"#$(!, !) ≥ 0!el!costo!de!aplicar!!!en!!!
!
!!puede!ser!la!ciudad!donde!se!encuentra!el!agente!
!!el!vuelo!a!tomar!
!"#$(!, !)!el!destino!del!vuelo!
!"#$(!, !)!el!precio!del!boleto!de!avión!
!
Problema!
Encontrar!la!ruta!más!barata!al!destino!deseado!
!
Formalización!
Encontrar!una!secuencia!de!acciones!(!!, !!, … , !!!!)!y!la!correspondiente!
secuencia!de!estados!(!!, !!, … , !!)!que!minimice!el!costo!total!
!
!(!, !) = !"#$(!!, !!)
!!!
!!!
!
!
donde!!!!! = !"#$(!!, !!)!y!!! ∈ !(!!)!
!
El!estado!inicial!!! = !!"!#
!y!el!estado!final!(destino)!!! = !!"#$
!son!conocidos!
Intuición
8
! ∈ Χ!representa!el!medio!ambiente!de!un!agente!
! ∈ U(x)!la!acción!o!control!que!el!agente!elige!cuando!se!encuentra!en!el!estado!x!
!
!"#$(!, !) ∈ Χ!denota!el!estado!que!resulta!de!aplicar!la!acción!!!en!el!estado!!!
!"#$(!, !) ≥ 0!el!costo!de!aplicar!!!en!!!
!
!!puede!ser!la!ciudad!donde!se!encuentra!el!agente!
!!el!vuelo!a!tomar!
!"#$(!, !)!el!destino!del!vuelo!
!"#$(!, !)!el!precio!del!boleto!de!avión!
!
Problema!
Encontrar!la!ruta!más!barata!al!destino!deseado!
!
Formalización!
Encontrar!una!secuencia!de!acciones!(!!, !!, … , !!!!)!y!la!correspondiente!
secuencia!de!estados!(!!, !!, … , !!)!que!minimice!el!costo!total!
!
!(!, !) = !"#$(!!, !!)
!!!
!!!
!
!
donde!!!!! = !"#$(!!, !!)!y!!! ∈ !(!!)!
!
El!estado!inicial!!! = !!"!#
!y!el!estado!final!(destino)!!! = !!"#$
!son!conocidos!
Control a Tiempo Discreto
Caso Estocástico
Límite Continuo
Principio del Minimo de Pontryagin
Introducción
Referencias
1
2
3
4
5
6
Control a Tiempo Discreto
10
Programación Dinámica
11
Programación Dinámica
11
Encontrar(la(ruta(de(costo(mínimo(de(A(a(J(
(
! ! = 0, ! ! = 3, ! ! = 4
! ! = !"# 6 + ! ! , 3 + ! !
(
(
Programación Dinámica
12
t0 t1 t2 t3
Hay 3 trayectorias óptimas de 18 posibles con costo 11:
(A,D,F,I,J), (A,D,E,H,J) y (A,C,E,H,J)
Control a Tiempo Discreto
13
El#problema#de#control#óptimo#se#puede#resolver#mediante#programación#dinámica.#
#
Introducir#la#función#de#costo#óptima#(optimal(cost+to+go(function)#
#
! !, !! = min
!!:!!!
! !! + ! !, !!, !!
!!!
!!!
#
#
que#resuelve#el#problema#de#control#óptimo#desde#un#tiempo#intermedio#!#hasta#el#tiempo#
de#finalización#!,#para#todos#los#estados#intermedios#!!#
#
Entonces,#
#
! !, ! = ! !
! 0, ! = min
!!:!!!
! !, !!:!!!
#
#
Control a Tiempo Discreto
13
El#problema#de#control#óptimo#se#puede#resolver#mediante#programación#dinámica.#
#
Introducir#la#función#de#costo#óptima#(optimal(cost+to+go(function)#
#
! !, !! = min
!!:!!!
! !! + ! !, !!, !!
!!!
!!!
#
#
que#resuelve#el#problema#de#control#óptimo#desde#un#tiempo#intermedio#!#hasta#el#tiempo#
de#finalización#!,#para#todos#los#estados#intermedios#!!#
#
Entonces,#
#
! !, ! = ! !
! 0, ! = min
!!:!!!
! !, !!:!!!
#
#
Control a Tiempo Discreto
14
Control a Tiempo Discreto
14
15
Principio de Optimalidad de Bellman

[Bellman, R.E.: “Dynamic Programming”. Princeton
University Press, 1957]
Una política óptima tiene la propiedad de que,
sean cuales sea el estado inicial y la decisión
inicial, las decisiones restantes deben constituir
una solución óptima con respecto al estado
resultante de la primera decisión.
Control a Tiempo Discreto
16
Control a Tiempo Discreto
Caso Estocástico
Límite Continuo
Principio del Minimo de Pontryagin
Introducción
Referencias
1
2
3
4
5
6
Caso Estocástico
18
Caso Estocástico
18
Caso Estocástico
19
Ecuación de Bellman Estocástica
20
Ecuación de Bellman Estocástica
20
Control a Tiempo Discreto
Caso Estocástico
Límite Continuo
Principio del Minimo de Pontryagin
Introducción
Referencias
1
2
3
4
5
6
Límite Continuo
22
Límite Continuo
23
Límite Continuo
23
Control a Tiempo Discreto
Caso Estocástico
Límite Continuo
Principio del Minimo de Pontryagin
Introducción
Referencias
1
2
3
4
5
6
Principio del mínimo de Pontryagin
25
Una$alternativa$es$el$enfoque$variacional$que$directamente$encuentra$la$trayectoria$óptima$
y$el$control$óptimo.$
Principio del mínimo de Pontryagin
26
Principio del mínimo de Pontryagin
26
Derivación Principio de Pontryagin
27
Derivación Principio de Pontryagin
28
Derivación Principio de Pontryagin
28
Receta Principio de Pontryagin
29
Control a Tiempo Discreto
Caso Estocástico
Límite Continuo
Principio del Minimo de Pontryagin
Introducción
Referencias
1
2
3
4
5
6
Referencias
Otras fuentes
31
Preguntas
32

Más contenido relacionado

La actualidad más candente

Regresión lineal multiple autores grillet montaño rodríguez
Regresión lineal multiple  autores grillet montaño rodríguezRegresión lineal multiple  autores grillet montaño rodríguez
Regresión lineal multiple autores grillet montaño rodríguezthomas669
 
TIPOS DE MODELOS MATEMATICOS
TIPOS DE MODELOS MATEMATICOSTIPOS DE MODELOS MATEMATICOS
TIPOS DE MODELOS MATEMATICOSquintomerca
 
Tarea 11 de probabilidad y estadistica con respuestas
Tarea 11 de probabilidad y estadistica con respuestasTarea 11 de probabilidad y estadistica con respuestas
Tarea 11 de probabilidad y estadistica con respuestasIPN
 
Cap2. modelo regresión multiple-v2-2011
Cap2. modelo regresión multiple-v2-2011Cap2. modelo regresión multiple-v2-2011
Cap2. modelo regresión multiple-v2-2011Robinho Navarrete
 
5. probabilidad conjunta ejercicios resueltos
5. probabilidad conjunta   ejercicios resueltos5. probabilidad conjunta   ejercicios resueltos
5. probabilidad conjunta ejercicios resueltosfabebust
 
Ejercicio - Serie de maclaurin
Ejercicio - Serie de maclaurinEjercicio - Serie de maclaurin
Ejercicio - Serie de maclaurinJhony Caranguay
 
Funciones periódicas
Funciones periódicasFunciones periódicas
Funciones periódicasErick Cruz
 
Programacion Lineal
Programacion LinealProgramacion Lineal
Programacion LinealMaryJaneth
 
P. final algebra lineal victoria silva
P. final algebra lineal victoria silvaP. final algebra lineal victoria silva
P. final algebra lineal victoria silvaVictoria Silva
 
Métodos de ecuaciones simultaneas
Métodos de ecuaciones simultaneasMétodos de ecuaciones simultaneas
Métodos de ecuaciones simultaneasMichael Vega
 

La actualidad más candente (20)

14 enano
14 enano14 enano
14 enano
 
Analisis de dualidad
Analisis de dualidadAnalisis de dualidad
Analisis de dualidad
 
Regresión lineal multiple autores grillet montaño rodríguez
Regresión lineal multiple  autores grillet montaño rodríguezRegresión lineal multiple  autores grillet montaño rodríguez
Regresión lineal multiple autores grillet montaño rodríguez
 
TIPOS DE MODELOS MATEMATICOS
TIPOS DE MODELOS MATEMATICOSTIPOS DE MODELOS MATEMATICOS
TIPOS DE MODELOS MATEMATICOS
 
Teorema de chebyshev
Teorema de chebyshevTeorema de chebyshev
Teorema de chebyshev
 
Tarea 11 de probabilidad y estadistica con respuestas
Tarea 11 de probabilidad y estadistica con respuestasTarea 11 de probabilidad y estadistica con respuestas
Tarea 11 de probabilidad y estadistica con respuestas
 
Cap2. modelo regresión multiple-v2-2011
Cap2. modelo regresión multiple-v2-2011Cap2. modelo regresión multiple-v2-2011
Cap2. modelo regresión multiple-v2-2011
 
5. probabilidad conjunta ejercicios resueltos
5. probabilidad conjunta   ejercicios resueltos5. probabilidad conjunta   ejercicios resueltos
5. probabilidad conjunta ejercicios resueltos
 
Método de Mínimos Cuadrados
Método de Mínimos CuadradosMétodo de Mínimos Cuadrados
Método de Mínimos Cuadrados
 
Ejercicio - Serie de maclaurin
Ejercicio - Serie de maclaurinEjercicio - Serie de maclaurin
Ejercicio - Serie de maclaurin
 
Funciones periódicas
Funciones periódicasFunciones periódicas
Funciones periódicas
 
Programacion Lineal
Programacion LinealProgramacion Lineal
Programacion Lineal
 
Endogeneidad
Endogeneidad Endogeneidad
Endogeneidad
 
FORMULAS DEL SISTEMA DE COLA M/M/1
FORMULAS DEL SISTEMA DE COLA M/M/1FORMULAS DEL SISTEMA DE COLA M/M/1
FORMULAS DEL SISTEMA DE COLA M/M/1
 
P. final algebra lineal victoria silva
P. final algebra lineal victoria silvaP. final algebra lineal victoria silva
P. final algebra lineal victoria silva
 
Unidad 1. Programación entera
Unidad 1. Programación enteraUnidad 1. Programación entera
Unidad 1. Programación entera
 
Modelos matematicos unidad i
Modelos matematicos unidad iModelos matematicos unidad i
Modelos matematicos unidad i
 
programacion lineal
 programacion lineal programacion lineal
programacion lineal
 
Métodos de ecuaciones simultaneas
Métodos de ecuaciones simultaneasMétodos de ecuaciones simultaneas
Métodos de ecuaciones simultaneas
 
Tabla de transformadas de laplace
Tabla de transformadas de laplaceTabla de transformadas de laplace
Tabla de transformadas de laplace
 

Destacado

Metodos Neuronales En Sistemas Difusos
Metodos Neuronales En Sistemas DifusosMetodos Neuronales En Sistemas Difusos
Metodos Neuronales En Sistemas DifusosESCOM
 
ProgramacióN Curricular
ProgramacióN CurricularProgramacióN Curricular
ProgramacióN Curricularcarmenysabel
 
Oscar Ono dans Résidences Décoration
Oscar Ono dans Résidences Décoration Oscar Ono dans Résidences Décoration
Oscar Ono dans Résidences Décoration mmi-deco
 
Programme scours populaire
Programme scours populaireProgramme scours populaire
Programme scours populaireevanim
 
Activitat 5 viquilletra
Activitat 5 viquilletraActivitat 5 viquilletra
Activitat 5 viquilletraaanddrea
 
Baromètre Cercle Santé-CSA-Europ Assistance 2012 - synthèse
Baromètre Cercle Santé-CSA-Europ Assistance 2012 - synthèseBaromètre Cercle Santé-CSA-Europ Assistance 2012 - synthèse
Baromètre Cercle Santé-CSA-Europ Assistance 2012 - synthèseEurop Assistance Group
 
Dossier de presse - CultiZer
Dossier de presse - CultiZerDossier de presse - CultiZer
Dossier de presse - CultiZerYvan Godard
 
Departement05
Departement05Departement05
Departement05CCDH75
 
Crackers Ribner Gariglio Trik
Crackers Ribner Gariglio TrikCrackers Ribner Gariglio Trik
Crackers Ribner Gariglio TrikMarcela García
 
Nuestra propuesta (1)
Nuestra propuesta (1)Nuestra propuesta (1)
Nuestra propuesta (1)Conchi Allica
 
Cultura Android - Push notifications con Parse.com
Cultura Android - Push notifications con Parse.comCultura Android - Push notifications con Parse.com
Cultura Android - Push notifications con Parse.comykro
 
Educational Data Mining: cerrando el círculo del proceso de aprendizaje en en...
Educational Data Mining: cerrando el círculo del proceso de aprendizaje en en...Educational Data Mining: cerrando el círculo del proceso de aprendizaje en en...
Educational Data Mining: cerrando el círculo del proceso de aprendizaje en en...Julià Minguillón
 
Impactante Anaconda
Impactante AnacondaImpactante Anaconda
Impactante AnacondaLUIS VELEZ
 
Webmarketing services
Webmarketing servicesWebmarketing services
Webmarketing servicescontactgws
 

Destacado (20)

Metodos Neuronales En Sistemas Difusos
Metodos Neuronales En Sistemas DifusosMetodos Neuronales En Sistemas Difusos
Metodos Neuronales En Sistemas Difusos
 
ProgramacióN Curricular
ProgramacióN CurricularProgramacióN Curricular
ProgramacióN Curricular
 
Oscar Ono dans Résidences Décoration
Oscar Ono dans Résidences Décoration Oscar Ono dans Résidences Décoration
Oscar Ono dans Résidences Décoration
 
Programme scours populaire
Programme scours populaireProgramme scours populaire
Programme scours populaire
 
FOTOS ESPLENDIDAS
FOTOS ESPLENDIDASFOTOS ESPLENDIDAS
FOTOS ESPLENDIDAS
 
Collective Transformation
Collective Transformation Collective Transformation
Collective Transformation
 
Sur le fascisme de la langue
Sur le fascisme de la langueSur le fascisme de la langue
Sur le fascisme de la langue
 
Pronoms
PronomsPronoms
Pronoms
 
Activitat 5 viquilletra
Activitat 5 viquilletraActivitat 5 viquilletra
Activitat 5 viquilletra
 
Baromètre Cercle Santé-CSA-Europ Assistance 2012 - synthèse
Baromètre Cercle Santé-CSA-Europ Assistance 2012 - synthèseBaromètre Cercle Santé-CSA-Europ Assistance 2012 - synthèse
Baromètre Cercle Santé-CSA-Europ Assistance 2012 - synthèse
 
Dossier de presse - CultiZer
Dossier de presse - CultiZerDossier de presse - CultiZer
Dossier de presse - CultiZer
 
Departement05
Departement05Departement05
Departement05
 
Crackers Ribner Gariglio Trik
Crackers Ribner Gariglio TrikCrackers Ribner Gariglio Trik
Crackers Ribner Gariglio Trik
 
Nuestra propuesta (1)
Nuestra propuesta (1)Nuestra propuesta (1)
Nuestra propuesta (1)
 
Cultura Android - Push notifications con Parse.com
Cultura Android - Push notifications con Parse.comCultura Android - Push notifications con Parse.com
Cultura Android - Push notifications con Parse.com
 
Educational Data Mining: cerrando el círculo del proceso de aprendizaje en en...
Educational Data Mining: cerrando el círculo del proceso de aprendizaje en en...Educational Data Mining: cerrando el círculo del proceso de aprendizaje en en...
Educational Data Mining: cerrando el círculo del proceso de aprendizaje en en...
 
Impactante Anaconda
Impactante AnacondaImpactante Anaconda
Impactante Anaconda
 
Webmarketing services
Webmarketing servicesWebmarketing services
Webmarketing services
 
Tag question
Tag questionTag question
Tag question
 
Vexetais
VexetaisVexetais
Vexetais
 

Más de David Solis

Uso de Tecnología de Blockchain en una Infraestructura Financiera
Uso de Tecnología de Blockchain en una Infraestructura FinancieraUso de Tecnología de Blockchain en una Infraestructura Financiera
Uso de Tecnología de Blockchain en una Infraestructura FinancieraDavid Solis
 
Industria de Seguros y Behavioral Economics
Industria de Seguros y Behavioral EconomicsIndustria de Seguros y Behavioral Economics
Industria de Seguros y Behavioral EconomicsDavid Solis
 
Percepción y Adopción de Tecnología: Disrupción en los Sistemas Financieros
Percepción y Adopción de Tecnología: Disrupción en los Sistemas FinancierosPercepción y Adopción de Tecnología: Disrupción en los Sistemas Financieros
Percepción y Adopción de Tecnología: Disrupción en los Sistemas FinancierosDavid Solis
 
Toma de decisiones en condiciones VUCA
Toma de decisiones en condiciones VUCAToma de decisiones en condiciones VUCA
Toma de decisiones en condiciones VUCADavid Solis
 
Ciencia, método y filosofía
Ciencia, método y filosofíaCiencia, método y filosofía
Ciencia, método y filosofíaDavid Solis
 
American Options Valuation
American Options ValuationAmerican Options Valuation
American Options ValuationDavid Solis
 
Calibración del Modelo Heston usando Evolución Diferencial
Calibración del Modelo Heston usando Evolución DiferencialCalibración del Modelo Heston usando Evolución Diferencial
Calibración del Modelo Heston usando Evolución DiferencialDavid Solis
 
Reproducible Research
Reproducible ResearchReproducible Research
Reproducible ResearchDavid Solis
 
Prueba Kolmogorov-Smirnov
Prueba Kolmogorov-SmirnovPrueba Kolmogorov-Smirnov
Prueba Kolmogorov-SmirnovDavid Solis
 
Gestión de Continuidad de Negocio
Gestión de Continuidad de NegocioGestión de Continuidad de Negocio
Gestión de Continuidad de NegocioDavid Solis
 
Guía para la elaboración de un artículo científico
Guía para la elaboración de un artículo científicoGuía para la elaboración de un artículo científico
Guía para la elaboración de un artículo científicoDavid Solis
 
Un Juego Diferencial Estocástico para Reaseguro
Un Juego Diferencial Estocástico para ReaseguroUn Juego Diferencial Estocástico para Reaseguro
Un Juego Diferencial Estocástico para ReaseguroDavid Solis
 
Valuación de Opciones Europeas con el Modelo de Heston utilizando Métodos de ...
Valuación de Opciones Europeas con el Modelo de Heston utilizando Métodos de ...Valuación de Opciones Europeas con el Modelo de Heston utilizando Métodos de ...
Valuación de Opciones Europeas con el Modelo de Heston utilizando Métodos de ...David Solis
 
Valuación de Opciones Europeas con el Modelo de Heston utilizando Métodos de ...
Valuación de Opciones Europeas con el Modelo de Heston utilizando Métodos de ...Valuación de Opciones Europeas con el Modelo de Heston utilizando Métodos de ...
Valuación de Opciones Europeas con el Modelo de Heston utilizando Métodos de ...David Solis
 
Caso Enron. Contabilidad Creativa, Ética Cuestionable o Actos Delictivos
Caso Enron. Contabilidad Creativa, Ética Cuestionable o Actos DelictivosCaso Enron. Contabilidad Creativa, Ética Cuestionable o Actos Delictivos
Caso Enron. Contabilidad Creativa, Ética Cuestionable o Actos DelictivosDavid Solis
 
Organizational Change Management for IT Projects
Organizational Change Management for IT ProjectsOrganizational Change Management for IT Projects
Organizational Change Management for IT ProjectsDavid Solis
 
Persi Diaconis y el lanzamiento de monedas
Persi Diaconis y el lanzamiento de monedasPersi Diaconis y el lanzamiento de monedas
Persi Diaconis y el lanzamiento de monedasDavid Solis
 
Valuación de Opciones Europeas con el Modelo de Heston utilizando el Método d...
Valuación de Opciones Europeas con el Modelo de Heston utilizando el Método d...Valuación de Opciones Europeas con el Modelo de Heston utilizando el Método d...
Valuación de Opciones Europeas con el Modelo de Heston utilizando el Método d...David Solis
 
Métodos de Diferencias Finitas
Métodos de Diferencias FinitasMétodos de Diferencias Finitas
Métodos de Diferencias FinitasDavid Solis
 

Más de David Solis (20)

Uso de Tecnología de Blockchain en una Infraestructura Financiera
Uso de Tecnología de Blockchain en una Infraestructura FinancieraUso de Tecnología de Blockchain en una Infraestructura Financiera
Uso de Tecnología de Blockchain en una Infraestructura Financiera
 
Industria de Seguros y Behavioral Economics
Industria de Seguros y Behavioral EconomicsIndustria de Seguros y Behavioral Economics
Industria de Seguros y Behavioral Economics
 
Percepción y Adopción de Tecnología: Disrupción en los Sistemas Financieros
Percepción y Adopción de Tecnología: Disrupción en los Sistemas FinancierosPercepción y Adopción de Tecnología: Disrupción en los Sistemas Financieros
Percepción y Adopción de Tecnología: Disrupción en los Sistemas Financieros
 
Toma de decisiones en condiciones VUCA
Toma de decisiones en condiciones VUCAToma de decisiones en condiciones VUCA
Toma de decisiones en condiciones VUCA
 
Ciencia, método y filosofía
Ciencia, método y filosofíaCiencia, método y filosofía
Ciencia, método y filosofía
 
American Options Valuation
American Options ValuationAmerican Options Valuation
American Options Valuation
 
Algoritmo EM
Algoritmo EMAlgoritmo EM
Algoritmo EM
 
Calibración del Modelo Heston usando Evolución Diferencial
Calibración del Modelo Heston usando Evolución DiferencialCalibración del Modelo Heston usando Evolución Diferencial
Calibración del Modelo Heston usando Evolución Diferencial
 
Reproducible Research
Reproducible ResearchReproducible Research
Reproducible Research
 
Prueba Kolmogorov-Smirnov
Prueba Kolmogorov-SmirnovPrueba Kolmogorov-Smirnov
Prueba Kolmogorov-Smirnov
 
Gestión de Continuidad de Negocio
Gestión de Continuidad de NegocioGestión de Continuidad de Negocio
Gestión de Continuidad de Negocio
 
Guía para la elaboración de un artículo científico
Guía para la elaboración de un artículo científicoGuía para la elaboración de un artículo científico
Guía para la elaboración de un artículo científico
 
Un Juego Diferencial Estocástico para Reaseguro
Un Juego Diferencial Estocástico para ReaseguroUn Juego Diferencial Estocástico para Reaseguro
Un Juego Diferencial Estocástico para Reaseguro
 
Valuación de Opciones Europeas con el Modelo de Heston utilizando Métodos de ...
Valuación de Opciones Europeas con el Modelo de Heston utilizando Métodos de ...Valuación de Opciones Europeas con el Modelo de Heston utilizando Métodos de ...
Valuación de Opciones Europeas con el Modelo de Heston utilizando Métodos de ...
 
Valuación de Opciones Europeas con el Modelo de Heston utilizando Métodos de ...
Valuación de Opciones Europeas con el Modelo de Heston utilizando Métodos de ...Valuación de Opciones Europeas con el Modelo de Heston utilizando Métodos de ...
Valuación de Opciones Europeas con el Modelo de Heston utilizando Métodos de ...
 
Caso Enron. Contabilidad Creativa, Ética Cuestionable o Actos Delictivos
Caso Enron. Contabilidad Creativa, Ética Cuestionable o Actos DelictivosCaso Enron. Contabilidad Creativa, Ética Cuestionable o Actos Delictivos
Caso Enron. Contabilidad Creativa, Ética Cuestionable o Actos Delictivos
 
Organizational Change Management for IT Projects
Organizational Change Management for IT ProjectsOrganizational Change Management for IT Projects
Organizational Change Management for IT Projects
 
Persi Diaconis y el lanzamiento de monedas
Persi Diaconis y el lanzamiento de monedasPersi Diaconis y el lanzamiento de monedas
Persi Diaconis y el lanzamiento de monedas
 
Valuación de Opciones Europeas con el Modelo de Heston utilizando el Método d...
Valuación de Opciones Europeas con el Modelo de Heston utilizando el Método d...Valuación de Opciones Europeas con el Modelo de Heston utilizando el Método d...
Valuación de Opciones Europeas con el Modelo de Heston utilizando el Método d...
 
Métodos de Diferencias Finitas
Métodos de Diferencias FinitasMétodos de Diferencias Finitas
Métodos de Diferencias Finitas
 

Último

HISTORIETA: AVENTURAS VERDES (ECOLOGÍA).
HISTORIETA: AVENTURAS VERDES (ECOLOGÍA).HISTORIETA: AVENTURAS VERDES (ECOLOGÍA).
HISTORIETA: AVENTURAS VERDES (ECOLOGÍA).hebegris04
 
5º SOY LECTOR PART1- MD EDUCATIVO.pdfde
5º SOY LECTOR PART1- MD  EDUCATIVO.pdfde5º SOY LECTOR PART1- MD  EDUCATIVO.pdfde
5º SOY LECTOR PART1- MD EDUCATIVO.pdfdeBelnRosales2
 
La-cosmovision-del-curriculo-educativo-en-Venezuela (1).pptx
La-cosmovision-del-curriculo-educativo-en-Venezuela (1).pptxLa-cosmovision-del-curriculo-educativo-en-Venezuela (1).pptx
La-cosmovision-del-curriculo-educativo-en-Venezuela (1).pptxMAURICIO329243
 
LOS AMBIENTALISTAS todo por un mundo mejor
LOS AMBIENTALISTAS todo por un mundo mejorLOS AMBIENTALISTAS todo por un mundo mejor
LOS AMBIENTALISTAS todo por un mundo mejormrcrmnrojasgarcia
 
Apunte de clase Pisos y Revestimientos 3
Apunte de clase Pisos y Revestimientos 3Apunte de clase Pisos y Revestimientos 3
Apunte de clase Pisos y Revestimientos 3Gonella
 
Programa sintetico fase 2 - Preescolar.pdf
Programa sintetico fase 2 - Preescolar.pdfPrograma sintetico fase 2 - Preescolar.pdf
Programa sintetico fase 2 - Preescolar.pdfHannyDenissePinedaOr
 
Desarrollo de habilidades del siglo XXI - Práctica Educativa en una Unidad-Ca...
Desarrollo de habilidades del siglo XXI - Práctica Educativa en una Unidad-Ca...Desarrollo de habilidades del siglo XXI - Práctica Educativa en una Unidad-Ca...
Desarrollo de habilidades del siglo XXI - Práctica Educativa en una Unidad-Ca...Carol Andrea Eraso Guerrero
 
BOCA Y NARIZ (2).pdf....................
BOCA Y NARIZ (2).pdf....................BOCA Y NARIZ (2).pdf....................
BOCA Y NARIZ (2).pdf....................ScarletMedina4
 
CUADERNILLO DE EJERCICIOS PARA EL TERCER TRIMESTRE, SEXTO GRADO
CUADERNILLO DE EJERCICIOS PARA EL TERCER TRIMESTRE, SEXTO GRADOCUADERNILLO DE EJERCICIOS PARA EL TERCER TRIMESTRE, SEXTO GRADO
CUADERNILLO DE EJERCICIOS PARA EL TERCER TRIMESTRE, SEXTO GRADOEveliaHernandez8
 
Actividades eclipse solar 2024 Educacion
Actividades eclipse solar 2024 EducacionActividades eclipse solar 2024 Educacion
Actividades eclipse solar 2024 Educacionviviantorres91
 
Presentación MF 1445 EVALUACION COMO Y QUE
Presentación MF 1445 EVALUACION COMO Y QUEPresentación MF 1445 EVALUACION COMO Y QUE
Presentación MF 1445 EVALUACION COMO Y QUEJosé Hecht
 
Cuadernillo de actividades eclipse solar.pdf
Cuadernillo de actividades eclipse solar.pdfCuadernillo de actividades eclipse solar.pdf
Cuadernillo de actividades eclipse solar.pdflizcortes48
 
BITÁCORA DE ESTUDIO DE PROBLEMÁTICA. TUTORÍA V. PDF 2 UNIDAD.pdf
BITÁCORA DE ESTUDIO DE PROBLEMÁTICA. TUTORÍA V. PDF 2 UNIDAD.pdfBITÁCORA DE ESTUDIO DE PROBLEMÁTICA. TUTORÍA V. PDF 2 UNIDAD.pdf
BITÁCORA DE ESTUDIO DE PROBLEMÁTICA. TUTORÍA V. PDF 2 UNIDAD.pdfsolidalilaalvaradoro
 
historieta materia de ecologías producto
historieta materia de ecologías productohistorieta materia de ecologías producto
historieta materia de ecologías productommartinezmarquez30
 
Presentacionde Prueba 2024 dsdasdasdsadsadsadsadasdasdsadsa
Presentacionde Prueba 2024 dsdasdasdsadsadsadsadasdasdsadsaPresentacionde Prueba 2024 dsdasdasdsadsadsadsadasdasdsadsa
Presentacionde Prueba 2024 dsdasdasdsadsadsadsadasdasdsadsaFarid Abud
 
Salvando mi mundo , mi comunidad , y mi entorno
Salvando mi mundo , mi comunidad  , y mi entornoSalvando mi mundo , mi comunidad  , y mi entorno
Salvando mi mundo , mi comunidad , y mi entornoday561sol
 

Último (20)

Acuerdo segundo periodo - Grado Once.pptx
Acuerdo segundo periodo - Grado Once.pptxAcuerdo segundo periodo - Grado Once.pptx
Acuerdo segundo periodo - Grado Once.pptx
 
HISTORIETA: AVENTURAS VERDES (ECOLOGÍA).
HISTORIETA: AVENTURAS VERDES (ECOLOGÍA).HISTORIETA: AVENTURAS VERDES (ECOLOGÍA).
HISTORIETA: AVENTURAS VERDES (ECOLOGÍA).
 
5º SOY LECTOR PART1- MD EDUCATIVO.pdfde
5º SOY LECTOR PART1- MD  EDUCATIVO.pdfde5º SOY LECTOR PART1- MD  EDUCATIVO.pdfde
5º SOY LECTOR PART1- MD EDUCATIVO.pdfde
 
La-cosmovision-del-curriculo-educativo-en-Venezuela (1).pptx
La-cosmovision-del-curriculo-educativo-en-Venezuela (1).pptxLa-cosmovision-del-curriculo-educativo-en-Venezuela (1).pptx
La-cosmovision-del-curriculo-educativo-en-Venezuela (1).pptx
 
LOS AMBIENTALISTAS todo por un mundo mejor
LOS AMBIENTALISTAS todo por un mundo mejorLOS AMBIENTALISTAS todo por un mundo mejor
LOS AMBIENTALISTAS todo por un mundo mejor
 
El Bullying.
El Bullying.El Bullying.
El Bullying.
 
Apunte de clase Pisos y Revestimientos 3
Apunte de clase Pisos y Revestimientos 3Apunte de clase Pisos y Revestimientos 3
Apunte de clase Pisos y Revestimientos 3
 
Programa sintetico fase 2 - Preescolar.pdf
Programa sintetico fase 2 - Preescolar.pdfPrograma sintetico fase 2 - Preescolar.pdf
Programa sintetico fase 2 - Preescolar.pdf
 
Desarrollo de habilidades del siglo XXI - Práctica Educativa en una Unidad-Ca...
Desarrollo de habilidades del siglo XXI - Práctica Educativa en una Unidad-Ca...Desarrollo de habilidades del siglo XXI - Práctica Educativa en una Unidad-Ca...
Desarrollo de habilidades del siglo XXI - Práctica Educativa en una Unidad-Ca...
 
BOCA Y NARIZ (2).pdf....................
BOCA Y NARIZ (2).pdf....................BOCA Y NARIZ (2).pdf....................
BOCA Y NARIZ (2).pdf....................
 
CUADERNILLO DE EJERCICIOS PARA EL TERCER TRIMESTRE, SEXTO GRADO
CUADERNILLO DE EJERCICIOS PARA EL TERCER TRIMESTRE, SEXTO GRADOCUADERNILLO DE EJERCICIOS PARA EL TERCER TRIMESTRE, SEXTO GRADO
CUADERNILLO DE EJERCICIOS PARA EL TERCER TRIMESTRE, SEXTO GRADO
 
Unidad 2 | Teorías de la Comunicación | MCDIU
Unidad 2 | Teorías de la Comunicación | MCDIUUnidad 2 | Teorías de la Comunicación | MCDIU
Unidad 2 | Teorías de la Comunicación | MCDIU
 
Actividades eclipse solar 2024 Educacion
Actividades eclipse solar 2024 EducacionActividades eclipse solar 2024 Educacion
Actividades eclipse solar 2024 Educacion
 
Presentación MF 1445 EVALUACION COMO Y QUE
Presentación MF 1445 EVALUACION COMO Y QUEPresentación MF 1445 EVALUACION COMO Y QUE
Presentación MF 1445 EVALUACION COMO Y QUE
 
Cuadernillo de actividades eclipse solar.pdf
Cuadernillo de actividades eclipse solar.pdfCuadernillo de actividades eclipse solar.pdf
Cuadernillo de actividades eclipse solar.pdf
 
BITÁCORA DE ESTUDIO DE PROBLEMÁTICA. TUTORÍA V. PDF 2 UNIDAD.pdf
BITÁCORA DE ESTUDIO DE PROBLEMÁTICA. TUTORÍA V. PDF 2 UNIDAD.pdfBITÁCORA DE ESTUDIO DE PROBLEMÁTICA. TUTORÍA V. PDF 2 UNIDAD.pdf
BITÁCORA DE ESTUDIO DE PROBLEMÁTICA. TUTORÍA V. PDF 2 UNIDAD.pdf
 
historieta materia de ecologías producto
historieta materia de ecologías productohistorieta materia de ecologías producto
historieta materia de ecologías producto
 
¿Amor o egoísmo? Esa es la cuestión.pptx
¿Amor o egoísmo? Esa es la cuestión.pptx¿Amor o egoísmo? Esa es la cuestión.pptx
¿Amor o egoísmo? Esa es la cuestión.pptx
 
Presentacionde Prueba 2024 dsdasdasdsadsadsadsadasdasdsadsa
Presentacionde Prueba 2024 dsdasdasdsadsadsadsadasdasdsadsaPresentacionde Prueba 2024 dsdasdasdsadsadsadsadasdasdsadsa
Presentacionde Prueba 2024 dsdasdasdsadsadsadsadasdasdsadsa
 
Salvando mi mundo , mi comunidad , y mi entorno
Salvando mi mundo , mi comunidad  , y mi entornoSalvando mi mundo , mi comunidad  , y mi entorno
Salvando mi mundo , mi comunidad , y mi entorno
 

Breve introducción a control óptimo y programación dinámica

  • 1. Ecuaciones de Bellman, HJB y Pontryagin Breve Introducción al Control Óptimo y a la Programación Dinámica Análisis Cuantitativo del Riesgo David Solís
  • 2. Control a Tiempo Discreto Caso Estocástico Límite Continuo Principio del Minimo Pontryagin Introducción Referencias 1 2 3 4 5 6
  • 3. Introducción ‣ Teoría del control óptimo • Optimizar la suma de costos de la ruta y el costo final. El resultado es la secuencia de control óptima y la trayectoria óptima • Entrada: Función de costo • Salida: Trayectoria y controles óptimos 3 G-­‐NIUS  Hybrid  Unmanned  Ground  Vehicle
  • 4. Introducción ‣ Optimización de trayectorias para naves espaciales • Trayectoria de retorno de la luna a la tierra para ahorro de combustible ‣ Finanzas • Idear una secuencia de ordenes de compra / venta para maximizar el beneficio 4 Los problemas de control son problemas donde la recompensa se encuentra posteriormente
  • 5. Tipos de Problemas de Control Óptimo ‣ Dinámica y ambiente pueden depender explícitamente del tiempo ‣ El control óptimo depende explícitamente del tiempo 5 Horizonte finito (horizonte de tiempo fijo)
  • 6. Tipos de Problemas de Control Óptimo ‣ Dinámica y ambiente son estáticos ‣ El control óptimo es independiente del tiempo 6 Horizonte finito (horizonte móvil)
  • 7. Tipos de Problemas de Control Óptimo ‣ Tiempo mínimo ‣ Horizonte Infinito • Recompensa con descuento, aprendizaje por refuerzo • Recompensa total, estados de absorción • Recompensa promedio ‣ Otras consideraciones • Discreto vs. estado continuo • Discreto vs. tiempo continuo • Observable vs. observable parcial 7
  • 8. Intuición 8 ! ∈ Χ!representa!el!medio!ambiente!de!un!agente! ! ∈ U(x)!la!acción!o!control!que!el!agente!elige!cuando!se!encuentra!en!el!estado!x! ! !"#$(!, !) ∈ Χ!denota!el!estado!que!resulta!de!aplicar!la!acción!!!en!el!estado!!! !"#$(!, !) ≥ 0!el!costo!de!aplicar!!!en!!! ! !!puede!ser!la!ciudad!donde!se!encuentra!el!agente! !!el!vuelo!a!tomar! !"#$(!, !)!el!destino!del!vuelo! !"#$(!, !)!el!precio!del!boleto!de!avión! ! Problema! Encontrar!la!ruta!más!barata!al!destino!deseado! ! Formalización! Encontrar!una!secuencia!de!acciones!(!!, !!, … , !!!!)!y!la!correspondiente! secuencia!de!estados!(!!, !!, … , !!)!que!minimice!el!costo!total! ! !(!, !) = !"#$(!!, !!) !!! !!! ! ! donde!!!!! = !"#$(!!, !!)!y!!! ∈ !(!!)! ! El!estado!inicial!!! = !!"!# !y!el!estado!final!(destino)!!! = !!"#$ !son!conocidos!
  • 9. Intuición 8 ! ∈ Χ!representa!el!medio!ambiente!de!un!agente! ! ∈ U(x)!la!acción!o!control!que!el!agente!elige!cuando!se!encuentra!en!el!estado!x! ! !"#$(!, !) ∈ Χ!denota!el!estado!que!resulta!de!aplicar!la!acción!!!en!el!estado!!! !"#$(!, !) ≥ 0!el!costo!de!aplicar!!!en!!! ! !!puede!ser!la!ciudad!donde!se!encuentra!el!agente! !!el!vuelo!a!tomar! !"#$(!, !)!el!destino!del!vuelo! !"#$(!, !)!el!precio!del!boleto!de!avión! ! Problema! Encontrar!la!ruta!más!barata!al!destino!deseado! ! Formalización! Encontrar!una!secuencia!de!acciones!(!!, !!, … , !!!!)!y!la!correspondiente! secuencia!de!estados!(!!, !!, … , !!)!que!minimice!el!costo!total! ! !(!, !) = !"#$(!!, !!) !!! !!! ! ! donde!!!!! = !"#$(!!, !!)!y!!! ∈ !(!!)! ! El!estado!inicial!!! = !!"!# !y!el!estado!final!(destino)!!! = !!"#$ !son!conocidos!
  • 10. Control a Tiempo Discreto Caso Estocástico Límite Continuo Principio del Minimo de Pontryagin Introducción Referencias 1 2 3 4 5 6
  • 11. Control a Tiempo Discreto 10
  • 13. Programación Dinámica 11 Encontrar(la(ruta(de(costo(mínimo(de(A(a(J( ( ! ! = 0, ! ! = 3, ! ! = 4 ! ! = !"# 6 + ! ! , 3 + ! ! ( (
  • 14. Programación Dinámica 12 t0 t1 t2 t3 Hay 3 trayectorias óptimas de 18 posibles con costo 11: (A,D,F,I,J), (A,D,E,H,J) y (A,C,E,H,J)
  • 15. Control a Tiempo Discreto 13 El#problema#de#control#óptimo#se#puede#resolver#mediante#programación#dinámica.# # Introducir#la#función#de#costo#óptima#(optimal(cost+to+go(function)# # ! !, !! = min !!:!!! ! !! + ! !, !!, !! !!! !!! # # que#resuelve#el#problema#de#control#óptimo#desde#un#tiempo#intermedio#!#hasta#el#tiempo# de#finalización#!,#para#todos#los#estados#intermedios#!!# # Entonces,# # ! !, ! = ! ! ! 0, ! = min !!:!!! ! !, !!:!!! # #
  • 16. Control a Tiempo Discreto 13 El#problema#de#control#óptimo#se#puede#resolver#mediante#programación#dinámica.# # Introducir#la#función#de#costo#óptima#(optimal(cost+to+go(function)# # ! !, !! = min !!:!!! ! !! + ! !, !!, !! !!! !!! # # que#resuelve#el#problema#de#control#óptimo#desde#un#tiempo#intermedio#!#hasta#el#tiempo# de#finalización#!,#para#todos#los#estados#intermedios#!!# # Entonces,# # ! !, ! = ! ! ! 0, ! = min !!:!!! ! !, !!:!!! # #
  • 17. Control a Tiempo Discreto 14
  • 18. Control a Tiempo Discreto 14
  • 19. 15 Principio de Optimalidad de Bellman
 [Bellman, R.E.: “Dynamic Programming”. Princeton University Press, 1957] Una política óptima tiene la propiedad de que, sean cuales sea el estado inicial y la decisión inicial, las decisiones restantes deben constituir una solución óptima con respecto al estado resultante de la primera decisión.
  • 20. Control a Tiempo Discreto 16
  • 21. Control a Tiempo Discreto Caso Estocástico Límite Continuo Principio del Minimo de Pontryagin Introducción Referencias 1 2 3 4 5 6
  • 25. Ecuación de Bellman Estocástica 20
  • 26. Ecuación de Bellman Estocástica 20
  • 27. Control a Tiempo Discreto Caso Estocástico Límite Continuo Principio del Minimo de Pontryagin Introducción Referencias 1 2 3 4 5 6
  • 31. Control a Tiempo Discreto Caso Estocástico Límite Continuo Principio del Minimo de Pontryagin Introducción Referencias 1 2 3 4 5 6
  • 32. Principio del mínimo de Pontryagin 25 Una$alternativa$es$el$enfoque$variacional$que$directamente$encuentra$la$trayectoria$óptima$ y$el$control$óptimo.$
  • 33. Principio del mínimo de Pontryagin 26
  • 34. Principio del mínimo de Pontryagin 26
  • 35. Derivación Principio de Pontryagin 27
  • 36. Derivación Principio de Pontryagin 28
  • 37. Derivación Principio de Pontryagin 28
  • 38. Receta Principio de Pontryagin 29
  • 39. Control a Tiempo Discreto Caso Estocástico Límite Continuo Principio del Minimo de Pontryagin Introducción Referencias 1 2 3 4 5 6