Este documento describe el método cuasi-Newton para encontrar el mínimo de una función. Explica que este método genera direcciones de búsqueda recurrentes basadas en la relación entre el gradiente y la Hessiana aproximada. Luego, provee un ejemplo numérico para minimizar la función de Rosenbrock y muestra los resultados iterativos que convergen al mínimo local.

1. TecNM/Instituto Tecnológico de Cd. Madero
MÉTODOS INDIRECTOS
MÉTODO QUASI-NEWTON
(WILLIAM DAVIDON)
Dr. David Macias Ferrer
Centro de Investigación en Petroquímica
William C. Davidon
(1927-2013)

2. MÉTODO QUASI-NEWTON
Direcciones de Búsqueda, basada en la relación:    
1
s H x xk k k
f

    
1. Como alternativa de cálculo (si se quiere evitar el cálculo de la inversa de H), se puede
resolver el siguiente sistema de ecuaciones:
... (6.15)
La relación recurrente es
de la forma:
1
x x sk k k k

 
El escalar k en este caso se
toma de la optimización
de:
Un Criterio de convergencia adecuado
puede ser:
 xk
f  
   H x x xk k k
f   ... (6.16)
 x sk k
f 

3. Vector Inicial x0
Optimizar f(xk +  sk ), para encontrar k
Generar el vector xk+1
Encontrar el vector de dirección sk
Vector Óptimo xopt
Evaluar la Función Objetivo en xopt, es decir f(xopt )
Solución Óptima f(xopt )
   
1
s H x xk k k
f

    
|f(xk)|<
1
x x sk k k k

 
k = k + 1
Sí
No
MÉTODO QUASI-NEWTON

4. EJEMPLO
Encuentre el vector x que minimice la función      
2 22
1 2 2 1 1, 100 1f x x x x x   
Si:  0
1 2x
T
  Esta función es conocida como la función de Rosenbrock
MÉTODO QUASI-NEWTON

5. EJEMPLO
Encuentre el vector x que minimice la función      
2 22
1 2 2 1 1, 100 1f x x x x x   
Si:  0
1 2x
T
 
MÉTODO QUASI-NEWTON

6. EJEMPLO
El gradiente es:  
 
1 2
2 1
202 200 2
200
x
x x
f
x x
  
   
 
 0 396
200
xf
 
   
 
Para x0:
La Hessiana es:  
2
1 2 1
1
2 1200 400 400
400 200
H x
x x x
x
   
  
 
 0 402 400
( )
400 200
H x
 
  
 
De aquí que:  
10 0.00251256 0.00502513
( )
0.005025126 0.00505025
H x
  
  
 
 0
443.6395xf El módulo del gradiente es: Si  = 0.0001 y ya que:  0
xf  
Se procede a encontrar la dirección s0 para ello:
Encuentre el vector x que minimice la función      
2 22
1 2 2 1 1, 100 1f x x x x x   
Si:  0
1 2x
T
 
MÉTODO QUASI-NEWTON

7. CONTINUACIÓN
Derivando respecto de : 6 3 2
4.1624 10 0.06124 199.97 199.97
df
d
  


    
   
10 0 0 0.00251256 0.00502513 396 0.0101
( )
0.005025126 0.00505025 200 0.9799
s H x xf
      
        
     
La dirección s0 es:
Aplicando la relación recurrente para k = 0:
1 0 0 0
x x s 
De aquí que:
1
1
1
2
1 0.0101
2 0.9799
x
x


  
 
Luego entonces:1 1 0.0101
2 0.9799
x 
    
    
   
Optimizando f():
       
2 22
6 4 2 3 2
100 2 0.9799 1 0.0101 1 1 0.0101
1.0406 10 2.0404 10 0.9999 199.97 104
f   
    
        
      
MÉTODO QUASI-NEWTON

8. CONTINUACIÓN
1 2 30.9995, 4901.9799 9804.9307       
6 3 2
4.1624 10 0.06124 199.97 199.97 0  
    Si f’() = 0 entonces:
Sustituyendo en la relación recurrente:
1 0 0 0
x x s 
Tomando la raíz positiva mas pequeña: 0
0.9995 
Luego entonces:
1 1 0.0101
0.9995
2 0.9799
x
    
    
   
1 1.0100
1.0205
x
 
  
 
Las tres raíces reales son:
Ahora bien, la Hessiana para este vector (y para todos los posteriores) se vuelve
definida positiva:
 
10 0.532358815 1.07541398
( )
1.07541398 2.177435565
H x
  
  
 
MÉTODO QUASI-NEWTON

9. Lo anterior corresponde a una etapa. El vector óptimo se logra en 14 etapas; la
siguiente tabla muestra los resultados:
k  x1 x2 f(xk) |f(xk)|
0 0.999595 -1.0000 2.0000 104 443.6395
1 0.097455 -1.0100 1.0205 4.040294 3.8978
2 1.412991 -0.8015 0.5991 3.432175 19.4839
3 2.550827 -0.5376 0.2372 2.632401 17.5874
4 2.014159 -0.1923 -0.0019 1.572796 9.4548
5 2.446620 0.0813 -0.0288 0.969403 7.1149
10 0.015568 0.9910 0.9831 0.000183 0.4650
11 0.854706 0.9912 0.9834 0.000176 0.4577
12 0.264310 1.0006 1.0012 6.626E-07 0.0239
13 1 1.0004 1.0009 3.568E-07 0.0176
14 ---- 1.0000 1.0000 1.657E-11 0.0001
RESÚMEN
MÉTODO QUASI-NEWTON

10. Por lo tanto el vector óptimo que corresponde al extremo mínimo es:
1
1
xopt  
  
 
Extremo Mínimo Local
Punto Óptimo
de la Función
     
2 22
1 2 2 1 1, 100 1f x x x x x   
RESÚMEN
MÉTODO QUASI-NEWTON

11. BIBLIOGRAFÍA
T.F. Edgar, D.M. Himmelblau, L.S. Lasdon, “Optimization of Chemical Processes”, 2nd
Edition, New York, USA, McGraw Hill Inc., 2001