Este documento describe el método del gradiente para optimización multidimensional. El gradiente indica la dirección de máxima pendiente local para una función, lo que permite moverse en esa dirección para maximizar el valor de la función de manera eficiente. El método del ascenso de máxima inclinación utiliza repetidamente el gradiente para determinar la dirección de movimiento y acercarse al óptimo global de manera iterativa.

1. Optimización multidimensional

2. Mapa topográfico bidimensional

3. Método con Gradiente
Este método utiliza en forma explícita información de la
derivada para generar algoritmos eficientes de localicen el
óptimo.

4. El gradiente
Suponga que se tiene una función en dos dimensiones f(x,
y).
Por ejemplo podría ser su altura sobre una montaña como
una función de su posición y que se está en un lugar
específico sobre la montaña (a, b) y se requiere conocer la
pendiente en una dirección arbitraria.

5. Gradiente

6. La elevación a lo largo del nuevo eje puede entenderse como
una función g(h). Si se define su posición como el origen de
este eje (es decir, h=0), la pendiente en esta dirección podría
designarse como g´(0). Esta pendiente se llama derivada
direccional y se puede calcular a partir de las derivadas
parciales a lo largo de los ejes x y y mediante
donde la derivadas parciales son evaluadas en x=a y y=b.

7. Suponiendo que el objetivo es obtener la mayor elevación
con el siguiente paso, la pregunta lógica sería: ¿en qué
dirección está el mayor paso de ascenso? La respuesta es
proporcionada mediante lo que matemáticamente se conoce
como el gradiente
Este vector también se conoce como “nabla f”, el cual se
relaciona con la derivada direccional de f(x, y) en el punto x=a
y y=b.

8. La notación vectorial ofrece un medio conciso para generalizar
el gradiente a “n” dimensiones

9. ¿Que papel juega el gradiente?
Si lo que interesa es ganar elevación
tan rápidamente como sea posible, el
gradiente indica, de manera local, que
dirección tomar y cuánto ganaremos
al hacerlo.

10. Utilización del gradiente para evaluar la
trayectoria de máxima pendiente
Planteamiento del problema:
Con el gradiente evalúe la dirección de máxima pendiente
para la función
en el punto (2, 2).

11. El hessiano
En problemas de una dimensión, tanto la primera como la
segunda derivada ofrecen información valiosa en la
búsqueda del óptimo. La primera derivada proporciona
una trayectoria de máxima inclinación de la función e
indica que se ha alcanzado el óptimo.

12. Una vez en el óptimo, la segunda derivada indicará si es un
máximo (f´´(x) negativo) o un mínimo (f´´(x) positivo).
Ya sea que ocurra un máximo o un mínimo, esto involucra no
sólo a las primeras derivadas parciales con respecto a “x” y
“y”, sino también a la segunda derivada parcial.

13. Suponiendo que las derivadas parciales sean continuas en
“y” cerca del punto que se habrá de evaluar, se puede
calcular la siguiente cantidad:

14. Pueden presentarse tres casos:
donde la cantidad |H| es igual al determinante de una matriz
formada por las segundas derivadas:

15. La matriz se conoce formalmente como el
hessiano de f.
Esta matriz proporciona un medio para discriminar
si una función ha alcanzado el óptimo.

16. Método de la máxima inclinación
Una estrategia obvia para subir una colina sería determinar la
pendiente máxima en la posición inicial y después comenzar a
caminar en esa dirección.
Problema: a menos que realmente tenga suerte y empiece
sobre una cuesta que apunte directamente a la cima.

17. La estrategia anterior, presente un inconveniente. La
evaluación continua del gradiente demanda mucho tiempo en
términos de cálculo.
Una solución consiste en moverse por un camino fijo, a lo
largo del gradiente inicial hasta que f(x,y) deje de aumentar;
es decir, tienda a nivelarse en su dirección de viaje. Este punto
se convierte en el punto inicial donde se reevalúa f y se sigue
una nueva dirección.

18. Descripción gráfica del método de
máxima inclinación

19. Comenzamos en Xo y Yo las coordenadas de cualquier punto
en la dirección del gradiente se expresan como
donde h es la distancia a lo largo del eje h.

20. Suponga que Xo =1 y que Yo =2 y como se
muestra en la figura.

21. Las coordenadas de cualquier punto a lo largo de h están
dadas por
En el siguiente ejemplo se ilustra la forma en que se emplean
estas transformaciones para convertir una función
bidimensional de x y y en una función unidimensional de h.

22. Desarrollo de una función 1‐D a lo largo de la dirección del
gradiente.
Suponga que se tiene la siguiente función en dos
dimensiones:
Desarrolle una versión unidimensional de esta ecuación a lo
largo de l a dirección del gradiente en el punto x=‐1 y y=1.

23. Al combinar términos, se obtiene una función unidimensional
g(h) que trasforma f(x, y) a lo largo del eje h,

24. Ahora que se ha obtenido una función a lo largo de la
trayectoria de ascenso de máxima inclinación, es posible
explorar como contestar la segunda pregunta.
¿Qué tan lejos se llega a lo largo de ese camino?

25. Un procedimiento sería moverse a lo largo de este
camino hasta encontrar el máximo de la función. Se
identificara la localización de este máximo como h*. Éste
es el valor del paso que maximiza g ( y , por lo tanto, f) en
la dirección del gradiente.

26. El método donde se utiliza un tamaño de paso arbitrario de h,
se le llama ascenso de máxima inclinación.
Si se encuentra que un valor de un solo paso h*, lleva
directamente al máximo a lo largo del gradiente, este método
se llama ascenso óptimo de máxima inclinación.

27. Ascenso óptimo de máxima inclinación
Ejemplo: Maximice la siguiente función:
Usando los valores iniciales, x=‐1 y y=1.

28. y el determinante de la matriz hessiana se calcula
Por lo tanto, debido a que
el valor de la función f(2,1) es un máximo.

29. Usando el método del ascenso de máxima
inclinación
Retomando el resultado del ejemplo anterior, para la función
unidimensional g(h), se tiene
Ahora, ya que ésta es una simple parábola, se puede localizar,
de manera directa, el máximo (es decir, h=h*) resolviendo el
problema,

30. Esto significa que si se viaja a lo largo del eje h, g(h)
alcanza un valor mínimo cuando h=h*=0.2.

31. Este resultado se sustituyen en las ecuaciones
para obtener las coordenadas (x, y) correspondiente a este
punto,

32. El paso anterior se describe en la siguiente figura, conforme el
movimiento va del punto 0 al 1.

33. Segundo paso
El segundo paso se implementa tan sólo al repetir el
procedimiento. Primero las derivadas parciales se evalúan en
el nuevo punto inicial (0.2, ‐0.2) para obtener

34. Por lo tanto el vector gradiente es
Esto significa que la dirección de máxima inclinación está
ahora dirigida hacia arriba y hacia la derecha en un ángulo de
45° con el eje x.

35. Las coordenadas a lo largo de este nuevo eje h se expresan
ahora como
Al sustituir estos valores en la función se obtiene

36. El paso h* que lleva al máximo a lo largo de la dirección
marcada ahora se calcula directamente como
Sustituyendo este valor, para obtener las coordenadas (x, y)
correspondiente a este nuevo punto

37. Como se observa en la figura, las nuevas coordenadas,
marcadas como punto 2 en la gráfica, se acercan al máximo. El
procedimiento se puede repetir y se obtiene un resultado final
que converge a la solución analítica, x=2 y y=1.