El documento describe el método de Levenberg-Marquardt para entrenar redes neuronales. Explica que minimiza una función de costo mediante la aproximación de Hessiano, permitiendo una transición suave entre los métodos de Gauss-Newton y descenso de gradiente. También cubre la formación de la matriz Jacobiana y el cálculo de sensibilidades mediante retropropagación para aplicar el método a redes multicapa.

1. LMBP Método de Levenberg Marquardt

2. Método de Newton Si el índice de desempeño es una suma del cuadrado de la función: Entonces el j -esimo elemento del gradiente es

3. Forma de la Matriz El gradiente se puede escribir en forma de matriz: Donde J es la matriz Jacobiana: J x   v 1 x    x 1  - - - - - - - - - - - - - - - - v 1 x    x 2  - - - - - - - - - - - - - - - -  v 1 x    x n  - - - - - - - - - - - - - - - - v 2 x    x 1  - - - - - - - - - - - - - - - - v 2 x    x 2  - - - - - - - - - - - - - - - -  v 2 x    x n  - - - - - - - - - - - - - - - -    v N x    x 1  - - - - - - - - - - - - - - - - - v N x    x 2  - - - - - - - - - - - - - - - - -  v N x    x n  - - - - - - - - - - - - - - - - - =

4. Hessiano

5. Método de Gauss-Newton Aproximar la matriz Hessiana como: El método de Newton se transforma: x k J T x k   J x k     1 – J T x k   v x k   – =

6. Algoritmo: Levenberg-Marquardt Gauss-Newton aproxima el Hesiano por: Esta matriz puede ser singular, pero puede ser invertible como sigue: Si los eigenvalores y eigenvectores de H son: entonces Eigenvalues of G

7. Ajuste de  k Conforme  k  0, LM se transforma en Gauss-Newton . Conforme  k  , LM se transforma en Gradiente Descendente con razón de aprendizaje pequeña .

9. Aplicación a las Redes Multicapa El índice de desempeño para la red multicapa es: El vector de error es: El vector parámetro es: Las dimensiones de los dos vectores son:

10. Matriz Jacobina J x   e 1 1   w 1 1  1  - - - - - - - - - - - - - - e 1 1   w 1 2  1  - - - - - - - - - - - - - -  e 1 1   w S 1 R  1  - - - - - - - - - - - - - - - - e 1 1   b 1 1  - - - - - - - - - - - -  e 2 1   w 1 1  1  - - - - - - - - - - - - - - e 2 1   w 1 2  1  - - - - - - - - - - - - - -  e 2 1   w S 1 R  1  - - - - - - - - - - - - - - - - e 2 1   b 1 1  - - - - - - - - - - - -      e S M 1   w 1 1  1  - - - - - - - - - - - - - - - e S M 1   w 1 2  1  - - - - - - - - - - - - - - -  e e S M 1   w S 1 R  1  - - - - - - - - - - - - - - - - e e S M 1   b 1 1  - - - - - - - - - - - - - - - -  e 1 2   w 1 1  1  - - - - - - - - - - - - - - e 1 2   w 1 2  1  - - - - - - - - - - - - - -  e 1 2   w S 1 R  1  - - - - - - - - - - - - - - - - e 1 2   b 1 1  - - - - - - - - - - - -      =

11. Calculo del Jacobino SDBP calcula terminos como: Para el Jacobiano se necesita calcular términos como: Usando la regla de la cadena: Donde la sensibilidad Se calcula usando backpropagation.

12. Sensibilidad de Marquardt Si se define una sensibilidad de Marquardt : Se puede calcular la Jacobiana como sigue: Pesos W Umbral B

13. Calculo de las Sensibilidades Backpropagation Iniciación S ˜ m S ˜ 1 m S ˜ 2 m  S ˜ Q m =

18. Ejemplo de LMBP w 1 1,1 w 2 1,1

19. Trayectoria del LMBP w 1 1,1 w 2 1,1

20. Ejemplos Método de Levenberg- Marquardt

23. Solución

24. Algoritmo de Levenberg-Marquardt

27. Simulación en Matlab / NNT

37. Dudas ???

38. Hasta la próxima !!!