5. Método de Gauss-Newton Aproximar la matriz Hessiana como: El método de Newton se transforma: x k J T x k J x k 1 – J T x k v x k – =
6. Algoritmo: Levenberg-Marquardt Gauss-Newton aproxima el Hesiano por: Esta matriz puede ser singular, pero puede ser invertible como sigue: Si los eigenvalores y eigenvectores de H son: entonces Eigenvalues of G
7. Ajuste de k Conforme k 0, LM se transforma en Gauss-Newton . Conforme k , LM se transforma en Gradiente Descendente con razón de aprendizaje pequeña .
8.
9. Aplicación a las Redes Multicapa El índice de desempeño para la red multicapa es: El vector de error es: El vector parámetro es: Las dimensiones de los dos vectores son:
10. Matriz Jacobina J x e 1 1 w 1 1 1 - - - - - - - - - - - - - - e 1 1 w 1 2 1 - - - - - - - - - - - - - - e 1 1 w S 1 R 1 - - - - - - - - - - - - - - - - e 1 1 b 1 1 - - - - - - - - - - - - e 2 1 w 1 1 1 - - - - - - - - - - - - - - e 2 1 w 1 2 1 - - - - - - - - - - - - - - e 2 1 w S 1 R 1 - - - - - - - - - - - - - - - - e 2 1 b 1 1 - - - - - - - - - - - - e S M 1 w 1 1 1 - - - - - - - - - - - - - - - e S M 1 w 1 2 1 - - - - - - - - - - - - - - - e e S M 1 w S 1 R 1 - - - - - - - - - - - - - - - - e e S M 1 b 1 1 - - - - - - - - - - - - - - - - e 1 2 w 1 1 1 - - - - - - - - - - - - - - e 1 2 w 1 2 1 - - - - - - - - - - - - - - e 1 2 w S 1 R 1 - - - - - - - - - - - - - - - - e 1 2 b 1 1 - - - - - - - - - - - - =
11. Calculo del Jacobino SDBP calcula terminos como: Para el Jacobiano se necesita calcular términos como: Usando la regla de la cadena: Donde la sensibilidad Se calcula usando backpropagation.
12. Sensibilidad de Marquardt Si se define una sensibilidad de Marquardt : Se puede calcular la Jacobiana como sigue: Pesos W Umbral B
13. Calculo de las Sensibilidades Backpropagation Iniciación S ˜ m S ˜ 1 m S ˜ 2 m S ˜ Q m =