¿Qué es programación dinámica?
Comparación entre recursión y programación dinámica
Historia
Ejemplos de aplicaciones
Knapsack Problem
Needleman–Wunsch algorithm
Algebraic Dynamic Programming
1. UNIVERSIDAD INTERAMERICANA DE PUERTO RICO RECINTO DE SAN GERMÁN Departamento de Matemáticas y Ciencias Aplicadas Programación Dinámica Ángel M. Carreras Jusino MATH 6350 Profesor Balbino García Bernal
2. Contenido ¿Qué es programación dinámica? Comparación entre recursión y programación dinámica Historia Ejemplos de aplicaciones KnapsackProblem Needleman–Wunsch algorithm AlgebraicDynamicProgramming
3. ¿Qué es la Programación Dinámica? Es una técnica algorítmica la cual está basada usualmente en una fórmula recurrente y un (o varios) estado(s) inicial(es). Una sub-solución del problema es construida de las halladas previamente. Es un método para resolver eficientemente una amplia gama de problemas de búsqueda y optimización que exhiben las características de sub-problemas superpuestos y subestructura óptima. Se dice que un problema tiene sub-problemas superpuestos si este puede ser descompuesto en sub-problemas que son reutilizados varias veces. Se dice que un problema tiene subestructura óptima si la solución óptima global puede ser construida a partir de soluciones óptimas de sub-problemas.
4. Comparación entre Recursión y Programación Dinámica La diferencia esencial entre Recursión y Programación dinámica es que la última guarda los resultados intermedios mientras la primera no lo hace. Esto hace una gran diferencia al rendimiento cuando una función recursiva es llamada en repetidas ocasiones con los mismos argumentos. De hecho la Programación Dinámica no es más que recursión con estrategia de “caching”.
5. Historia El término Programación Dinámica fue utilizado originalmente en los 1940’s por Richard Bellman para describir el proceso de resolver problemas donde se necesita encontrar las mejores decisiones una tras otra. Para 1953, el refinó esto a su significado moderno, el cual se refiere específicamente a anidar pequeños problemas de decisión dentro de grandes decisiones, luego de esto el campo fue reconocido por la lEEE como un tópico de análisis de sistemas e ingeniería. La contribución de Bellman es recordada en el nombre de la ecuación de Bellman, un resultado central de programación dinámica que replantea un problema de optimización en forma recursiva.
6. Historia Originalmente la palabra “programación” en “programación dinámica” no tenía conexión con la programación de computadoras y en cambio venía del término “programación matemática”. Sin embargo, actualmente muchos problemas de optimización son mejor resueltos escribiendo programas de computadoras que implementa un algoritmo de programación dinámica, lo cual resulta mejor que llevar a cabo cientos de cálculos a mano.
9. KnapsackProblem El problema de la mochila (knapsackproblem) consiste encontrar un subconjunto de productos que echar en una mochila de modo de maximizar el beneficio y no sobrepasar la capacidad de la mochila. Se puede resumir el problema de la siguiente forma: Donde les la cantidad de objetos disponibles, bi es el beneficio que ofrece el objeto i, pi es el peso del objeto i, xi nos indica si colocamos o no el objeto identro de la mochila y P es el peso máximo que soporta la mochila.
10. KnapsackProblem Digamos que tenemos l objetos con pesos p1, …,pl y beneficios b1, …,bl. Definimos A(i, j) como el valor máximo que puede ser obtenido con los primeros i objetos pesando a lo más j. Note que: A(0, j) = 0 y A(i, 0) = 0 para cualquier i ≤ ly j ≤ P. Si pi > jentonces A(i, j) = A(i – 1, j). Si pi ≤ jentonces A(i, j) tiene dos opciones incluir o no incluir el objeto i. Si no lo incluimos entonces tendrá un valor de A(i – 1, j). Si lo incluimos entonces tendrá un valor de A(i – 1, j – pi) + bi.
12. KnapsackProblem Ejemplo: Tenemos una caja que soporta 15 libras en la cual vamos a colocar objetos para vender. Hay disponibles tres objetos: Objeto #1 pesa 9 libras y se vende a $38 Objeto #2 pesa 6 libras y se vende a $40 Objeto #3 pesa 5 libras y se vende a $24 ¿Cuál es la ganancia máxima que podemos obtener? Mathematica
15. Needleman–Wunsch Algorithm Uno de los problemas de todos los días en Bioinformática es la comparación o alineamiento de secuencias. Necesitamos saber que tan similares son dos secuencias, permitiendo que haya pequeñas diferencias ya sea de reemplazo o de borrado entre una y otra. El algoritmo de Needleman-Wunsch sirve para realizar alineamientos globales de dos secuencias. Fue propuesto por primera vez en 1970, por SaulNeedleman y Christian Wunsch. El algoritmo calcula puntajes de similitud global entre dos secuencias.
16. Needleman–Wunsch Algorithm Ejemplo Consideremos el conjunto {A, G, C, T} sobre el cual definimos dos cadenas s1 = GAATTCAGTTA y s2 = GGATCGA. El objetivo del algoritmo es alinearlas de tal forma que puedan identificarse huecos, inserciones o cambios en los caracteres de las secuencias. Para el ejemplo un alineamiento es el siguiente: s
17. Needleman–Wunsch Algorithm El algoritmo de Needleman-Wunsch busca generar el alineamiento para lo cual coloca todas las posibles combinaciones de las dos secuencias s1 y s2 más una fila y columna de ceros para la generación de la recursividad, en una matriz M. Definiendo a n = |s1| y a m = |s2| entonces la matriz M será de tamaño (m +1) × (n + 1).
18. Needleman–Wunsch Algorithm Luego procedemos a rellenar la matriz Mpara lo cual primero definimos una matriz S de semejanza de caracteres.
19. Needleman–Wunsch Algorithm Si definimos Si;j como una función tal que devuelve la similitud de los caracteres de la posición i de s1 y j de s2 y a W como la penalización por hueco que en este caso es simplemente 0, tendremos listo las funciones necesarias para llenar la matriz M. Para proceder a rellenar M tendrán la siguiente ley de formación: Donde: Indica la coincidencia o no coincidencia de los caracteres de las secuencias. Indica la suma en horizontal más la penalización por hueco. Indica la suma en vertical más la penalización por hueco.
26. Needleman–Wunsch Algorithm El procedimiento siguiente es describir el patrón que se dibuja desde el extremo inferior derecho de la matriz M y se avanza a la izquierda o a la izquierda y arriba tomando siempre el valor que le precedió al construir M.
32. Algebraic Dynamic Programming Algebraic Dynamic Programming (ADP) es un nuevo método para diseñar e implementar, afinar, probar y enseñar algoritmos de Programación Dinámica. Comparado con el modelo tradicional, el ADP provee un nivel mucho mayor de abstracción, ayudando a resolver problemas mas sofisticados con mejores oportunidades de éxito.
33. Referencias Algebraic Dynamic Programinghttp://bibiserv.techfak.uni-bielefeld.de/adp/ Dynamic Programming Tutorial for DNA sequence alignment http://www.avatar.se/molbioinfo2001/dynprog/dynamic.html IntroductiontoDynamicProgramminghttp://20bits.com/articles/introduction-to-dynamic-programming/ Operations Research Models & Methods http://www.me.utexas.edu/~jensen/ORMM/methods/unit/dynamic/index.html Wikipedia http://en.wikipedia.org/wiki/Dynamic_programming
Notas del editor
Divide y vencerás
IEEE, Institute of Electrical and Electronics Engineers, is a leading authority on areas ranging from aerospace systems, computers and telecommunications to biomedical engineering, electric power and consumer electronics among others.
Según el alineamiento realizado en la tabla el primer, el tercer, el quinto, el sexto, el octavo y el undécimo caracter están correctamente alineados mientrasque el segundo ha sufrido una sustitución y las restantes existieron gap o huecos.El algoritmo de Needleman-Wunsch busca generar el alineamiento para locual coloca todas las posibles combinaciones de las dos secuencias s1 y s2 más una fila y columna de ceros para la generación de la recursividad, en una matriz M.
En nuestro ejemplo n = 11 y m = 7
La matriz mostradas en la tabla es la más simple matriz de sustitución que puede construirse por considerar 1 a la coincidencia exacta y 0 a la no coincidencia y 0 cuando hay un hueco o gap, ya que los actuales programas como FASTA o BLAST usan matrices más complejas las cuales son construidas según criterios de semejanza química, física u otros entre las moléculas en cuestión.
Gráficamente podrá ser visto más fácilmente Inicializado con la primera fila y columna como se muestra la figura por ceros para usarlo en la primera iteración, seguido el valor de M2;2 se calcula:
he first step in the global alignment dynamic programming approach is to create a matrix with M + 1 columns and N + 1 rows where M and N correspond to the size of the sequences to be aligned.Since this example assumes there is no gap opening or gap extension penalty, the first row and first column of the matrix can be initially filled with 0.
Using this information, the score at position 1,1 in the matrix can be calculated. Since the first residue in both sequences is a G, S1,1 = 1, and by the assumptions stated at the beginning, w = 0. Thus, M1,1 = MAX[M0,0 + 1, M1, 0 + 0, M0,1 + 0] = MAX [1, 0, 0] = 1.A value of 1 is then placed in position 1,1 of the scoring matrix.
Since the gap penalty (w) is 0, the rest of row 1 and column 1 can be filled in with the value 1. Take the example of row 1. At column 2, the value is the max of 0 (for a mismatch), 0 (for a vertical gap) or 1 (horizontal gap). The rest of row 1 can be filled out similarly until we get to column 8. At this point, there is a G in both sequences (light blue). Thus, the value for the cell at row 1 column 8 is the maximum of 1 (for a match), 0 (for a vertical gap) or 1 (horizontal gap). The value will again be 1. The rest of row 1 and column 1 can be filled with 1 using the above reasoning.
Now let's look at column 2. The location at row 2 will be assigned the value of the maximum of 1(mismatch), 1(horizontal gap) or 1 (vertical gap). So its value is 1.At the position column 2 row 3, there is an A in both sequences. Thus, its value will be the maximum of 2(match), 1 (horizontal gap), 1 (vertical gap) so its value is 2.Moving along to position colum 2 row 4, its value will be the maximum of 1 (mismatch), 1 (horizontal gap), 2 (vertical gap) so its value is 2. Note that for all of the remaining positions except the last one in column 2, the choices for the value will be the exact same as in row 4 since there are no matches. The final row will contain the value 2 since it is the maximum of 2 (match), 1 (horizontal gap) and 2(vertical gap).
Using the same techniques as described for column 2, we can fill in column 3.
After filling in all of the values the score matrix is as follows:
After the matrix fill step, the maximum alignment score for the two test sequences is 6. The traceback step determines the actual alignment(s) that result in the maximum score. Note that with a simple scoring algorithm such as one that is used here, there are likely to be multiple maximal alignments.The traceback step begins in the M,J position in the matrix, i.e. the position that leads to the maximal score. In this case, there is a 6 in that location.
Traceback takes the current cell and looks to the neighbor cells that could be direct predacessors. This means it looks to the neighbor to the left (gap in sequence #2), the diagonal neighbor (match/mismatch), and the neighbor above it (gap in sequence #1). The algorithm for traceback chooses as the next cell in the sequence one of the possible predacessors. In this case, the neighbors are marked in red. They are all also equal to 5.
Since the current cell has a value of 6 and the scores are 1 for a match and 0 for anything else, the only possible predacessor is the diagonal match/mismatch neighbor. If more than one possible predacessor exists, any can be chosen. This gives us a current alignment of (Seq #1) A | (Seq #2) A So now we look at the current cell and determine which cell is its direct predacessor. In this case, it is the cell with the red 5.
The alignment as described in the above step adds a gap to sequence #2, so the current alignment is(Seq #1) T A | (Seq #2) _ A Once again, the direct predacessor produces a gap in sequence #2.
Continuing on with the traceback step, we eventually get to a position in column 0 row 0 which tells us that traceback is completed
There are more alternative solutions each resulting in a maximal global alignment score of 6. Since this is an exponential problem, most dynamic programming algorithms will only print out a single solution.