El documento introduce la programación dinámica, explicando que implica tomar decisiones interrelacionadas sobre el tiempo para optimizar una secuencia de situaciones. Describe que la programación dinámica descompone un problema complejo en subproblemas más simples relacionados mediante un principio de optimalidad y ecuaciones recursivas. El objetivo es encontrar la secuencia óptima de decisiones evaluando cada subproblema solo una vez.

1. PROGRAMACION DINAMICA
PROF. VENEROS MANRIQUE, HENRY
Prof. Henry Veneros Manrique 1

2. Prof. Henry Veneros Manrique
INTRODUCCION.
•Etimológicamente, el término
“programación” implica
planeamiento y el término
“dinámica” implica cambio en el
tiempo.
2

3. Prof. Henry Veneros Manrique
INTRODUCCION.
•Actualmente, el término ha
tomado un significado más general,
los valores que van a tomar las
variables no solamente están en
función del tiempo, sino en las
decisiones que se puede tomar.
3

4. Prof. Henry Veneros Manrique
INTRODUCCION
• El arte de formular y resolver problemas usando
programación dinámica se puede aprender sólo a
través de una participación activa del alumno.
• Sólo con una considerable práctica en resolver
problemas por su cuenta, el alumno adquirirá la
habilidad necesaria que le permita realizar las
formulaciones apropiadas en forma fácil y natural.
• Usar correctamente el software P4 y la
interpretación de los resultados, elaborando
informes administrativos.
4

5. Prof. Henry Veneros Manrique
Descripcion.
• PD es un procedimiento de optimización el cual es
aplicable a problemas que requieren una
secuencia de decisiones interrelacionadas
• Cada decisión nos responde sobre qué hacemos
ahora, pero lo que hagamos ahora afectará
directamente a la decisión que se haga en algún
otro punto del problema.
• Cada decisión transforma la situación actual en
una nueva situación.
5

6. Prof. Henry Veneros Manrique
Descripcion
• Se trata de obtener una secuencia de decisiones,
las cuales producirán una secuencia de situaciones
que maximicen ( o minimicen) alguna medida de
valor.
• El valor de una secuencia de decisiones es
generalmente igual a la suma de los valores de las
decisiones y situaciones individuales que la
conforman.
• Así, la programación dinámica descompone un
problema de N decisiones, en una secuencia de N
problemas de una decisión separados pero
interrelacionados.
6

7. Prof. Henry Veneros Manrique
Descripcion
• La PD debe la mayor parte de su desarrollo original
a Richard Bellman y sus colegas de la corporación
RAND.
• Sus trabajos fueron resumidos en un libro clásico
publicado en el año 1957.
• Con los años, esta técnica ha sufrido importantes
modificaciones especialmente para darle una
forma más accesible a programas
computacionales.
7

8. Prof. Henry Veneros Manrique
Principio de Optimalidad
• La técnica de PD se basa en un principio el cual
debe ser satisfecho plenamente por todo
problema que intente ser resuelto mediante esta
técnica. El saber reconocer si este principio es
satisfecho o nó, es punto clave en el arte de
aplicación de la PD.
• “La mejor ruta desde el estado A al estado B tiene
la propiedad de que sea cual fuera la decisión
hecha en A, el camino restante para llegar a B,
partiendo del estado alcanzado inmediantamente
desde A, debe ser el mejor entre dicho estado y B”
8

9. Prof. Henry Veneros Manrique
Principio de Optimalidad
•“La mejor ruta desde cualquier
estado Z al estado B, depende sólo
del estado Z y no de la ruta usada
para llegar a Z”
•Caso 1: Problema de la alforja
9

10. Prof. Henry Veneros Manrique
Ideas Claves
• Primero, reconocer que el problema total
puede ser resuelto si se determinan los
valores para las mejores soluciones de
ciertos subproblemas (principio de
optimalidad)
• Segundo, darse cuenta que si uno empieza
por el final o cerca del final del problema
completo, los subproblemas son tan
simples, que tienen soluciones triviales.
(Ecuación Recursiva)
10

11. Prof. Henry Veneros Manrique
ESTRUCTURA DE LA TECNICA
11

12. Prof. Henry Veneros Manrique
Estado y Decisiones
• Vector de Estado, es un conjunto de
variables de estado, cuyos valores
especifican la condición actual del
proceso, el número de variables de
estado depende del problema.
• Decisión, es una oportunidad para
cambiar el valor de las variables de
estado. Los elementos del conjunto de
decisión, puede depender del estado.
12

13. Prof. Henry Veneros Manrique
Estado y Decisiones
• Algunos ejemplos de estas relaciones estado-
decisión son:
• Estado: Nivel de agua en un reservorio
Decisión: cuánta agua se desembalsará
• Estado: Ubicado en una calle
Decisión: que dirección seguir
• Estado: Estamos en un mes con un
inventario
Decisión: cuanto producir para cumplir con
la demanda.
13

14. Prof. Henry Veneros Manrique
Terminología
1. Estado
S : vector de estado formado por n variables
S = {S1,S2,...,Sn}, conjunto de n variables
Si = variable del estado i
S = {S}, conjunto de m posibles estados
2. Decisiones
D(s) = {d1,d2, ...,dns} , conjunto de decisiones para el
estado S, es una función del estado S
3. Función de Transición
S = estado actual
Sn = estado generado , nuevo estado o estado
siguiente
Sn = T(s,d)
14

15. Prof. Henry Veneros Manrique
Terminología.
4. Restricciones
Sn <= Lìmite_superior
Sn >= Lìmite_inferior
Toda generaciòn de estado debe estar limitado
por lo menos por una restricciòn
5. Estado Inicial
S = (Valor Inicial) , definido por el problema
15

16. Prof. Henry Veneros Manrique
Terminología.
7. Función de Valor Optimo (f(s))
La regla que asigna valores a los diferentes
subproblemas se llama función de Valor
Optimo y se denotará por f(s). Es una función
de estado.
8. Función de Política Optima (P(s))
La regla que indica la mejor decisión
inmediata para cada subproblema, se llama
Función de Política Optima y se denota por
P(s).
16

17. Prof. Henry Veneros Manrique
Terminología
9. Función de Retorno
a(s,d) = esfuerzo asociado con el arco que
conecta el estado S con el estado Sn
R(s,d) = a(s,d) + f(sn)
10. Ecuación Recursiva
f(s) = Minimo (o Máximo) {R(s,d)}
11. Condiciòn de Contorno
Son estados que el valor de la función de
valor óptimo no requiere cálculo alguno, su
valor es obvio, por las condiciones del
problema.
17

18. Prof. Henry Veneros Manrique
Proceso de Solución
1. Generación de Estados
Para generar el conjunto de estados, se requiere que se defina:
Conjunto decisión
Función de Transición
Estado inicial y
Restricciones
2. Procedimiento solución
Para hallar la solución óptima, se requiere:
Haber generado los estados
Definir la función de retorno
Definir la función de valor óptimo
Definir el valor de la función óptima para los estados de contorno.
18

19. Prof. Henry Veneros Manrique
Aplicaciones
19

20. Prof. Henry Veneros Manrique
Características.
(tomado del libro Winston)
20

21. Prof. Henry Veneros Manrique
Características de las aplicaciones de la PD
1. El problema se puede dividir en etapas, cada
etapa requiere una decisión.
2. Cada etapa tiene un número de estados
asociados con ella. Por estado se entiende la
información que se necesita en cualquier etapa
para tomar una decisión óptima.
3. La decisión tomada en cualquier etapa, indica
como se transforma el estado en la etapa actual
en el estado en la etapa siguiente.
21

22. Prof. Henry Veneros Manrique
Características de las aplicaciones de la PD
4. Dado el estado actual, la decisión óptima para
cada una de las etapas restantes no debe
depender de estados previamente alcanzados o
de decisiones previamente tomadas. A esta idea
se le conoce como principio de optimalidad.
5. Si los estados del problema se han clasificado en
una de T etapas, debe haber una formula
recursiva que relaciones el costo o recompensa
ganada durante las etapas t, t+1,...,T con el
costo o recompensa de las etapas t+1,t+2,...,T.
22