1) El documento describe varias técnicas para mejorar el algoritmo de retropropagación como métodos heurísticos y de optimización numérica. 2) Los métodos heurísticos incluyen momento y razón de aprendizaje variable, mientras que los métodos de optimización son el gradiente conjugado y Levenberg-Marquardt. 3) Se proveen ejemplos para ilustrar la aplicación de estas técnicas.

1. . Variantes de Backpropagation

4. SDBP Método del Gradiente Descendente

7. Error cuadrático vs. w 1 1,1 y w 2 1,1 w 1 1,1 w 2 1,1 w 1 1,1 w 2 1,1

8. Ejemplo de Convergencia w 1 1,1 w 2 1,1

10. Razón de aprendizaje muy grande w 1 1,1 w 2 1,1

13. Ejemplos BP Método del Gradiente  Descendente

15. MOBP Método del Momento

17. El Momento Filtro Ejemplo

18. Algoritmo de Retropropagación de Gradiente Descendente (SDBP) Retropropagación con Momento (MOBP)

19. Método del Momento (MOBP) w 1 1,1 w 2 1,1

21. LVBP Razón de Aprendizaje Variable

27. w 1 1,1 w 2 1,1 Ejemplo

29. Ejemplos BP Método del Momento (  ) y   variable

33. CGBP Algoritmo del Gradiente Conjugado

35. Algoritmo de *** Gradiente *** Conjugado

39. Ejemplos BP Método del Gradiente Conjugado

44. A) Localización del Intervalo Búsqueda de la sección de oro

45. B) Reducción del Intervalo

46. Búsqueda de la sección de oro  =0.618 Set c 1 = a 1 + (1-  )( b 1 - a 1 ), F c = F ( c 1 ) d 1 = b 1 - (1-  )( b 1 - a 1 ), F d = F ( d 1 ) For k =1,2, ... repeat If F c < F d then Set a k +1 = a k ; b k +1 = d k ; d k +1 = c k c k +1 = a k +1 + (1-  )( b k +1 - a k +1 ) F d = F c ; F c = F ( c k +1 ) else Set a k +1 = c k ; b k +1 = b k ; c k +1 = d k d k +1 = b k +1 - (1-  )( b k +1 - a k +1 ) F c = F d ; F d = F ( d k +1 ) end end until b k +1 - a k +1 < tol

48. Algoritmo de gradiente Conjugado w 1 1,1 w 2 1,1 w 1 1,1 w 2 1,1 Pasos Intermedios Trayectoria Completa

49. LMBP Método de Levenberg Marquardt

50. Método de Newton Si el índice de desempeño es una suma del cuadrado de la función: Entonces el j -esimo elemento del gradiente es

51. Forma de la Matriz El gradiente se puede escribir en forma de matriz: Donde J es la matriz Jacobiana: J x   v 1 x    x 1  - - - - - - - - - - - - - - - - v 1 x    x 2  - - - - - - - - - - - - - - - -  v 1 x    x n  - - - - - - - - - - - - - - - - v 2 x    x 1  - - - - - - - - - - - - - - - - v 2 x    x 2  - - - - - - - - - - - - - - - -  v 2 x    x n  - - - - - - - - - - - - - - - -    v N x    x 1  - - - - - - - - - - - - - - - - - v N x    x 2  - - - - - - - - - - - - - - - - -  v N x    x n  - - - - - - - - - - - - - - - - - =

52. Hessiano

53. Método de Gauss-Newton Aproximar la matriz Hessiana como: El método de Newton se transforma: x k J T x k   J x k     1 – J T x k   v x k   – =

54. Algoritmo: Levenberg-Marquardt Gauss-Newton aproxima el Hesiano por: Esta matriz puede ser singular, pero puede ser invertible como sigue: Si los eigenvalores y eigenvectores de H son: entonces Eigenvalues of G

55. Ajuste de  k Conforme  k  0, LM se transforma en Gauss-Newton . Conforme  k  , LM se transforma en Gradiente Descendente con razón de aprendizaje pequeña .

57. Aplicación a las Redes Multicapa El índice de desempeño para la red multicapa es: El vector de error es: El vector parámetro es: Las dimensiones de los dos vectores son:

58. Matriz Jacobiana J x   e 1 1   w 1 1  1  - - - - - - - - - - - - - - e 1 1   w 1 2  1  - - - - - - - - - - - - - -  e 1 1   w S 1 R  1  - - - - - - - - - - - - - - - - e 1 1   b 1 1  - - - - - - - - - - - -  e 2 1   w 1 1  1  - - - - - - - - - - - - - - e 2 1   w 1 2  1  - - - - - - - - - - - - - -  e 2 1   w S 1 R  1  - - - - - - - - - - - - - - - - e 2 1   b 1 1  - - - - - - - - - - - -      e S M 1   w 1 1  1  - - - - - - - - - - - - - - - e S M 1   w 1 2  1  - - - - - - - - - - - - - - -  e e S M 1   w S 1 R  1  - - - - - - - - - - - - - - - - e e S M 1   b 1 1  - - - - - - - - - - - - - - - -  e 1 2   w 1 1  1  - - - - - - - - - - - - - - e 1 2   w 1 2  1  - - - - - - - - - - - - - -  e 1 2   w S 1 R  1  - - - - - - - - - - - - - - - - e 1 2   b 1 1  - - - - - - - - - - - -      =

59. Calculo del Jacobiano SDBP calcula terminos como: Para el Jacobiano se necesita calcular terminos como: Usando la regla de la cadena: Donde la sensibilidad Se calcula usando backpropagation.

60. Sensibilidad de Marquardt Si se define una sensibilidad de Marquardt : Se puede calcular la Jacobiana como sigue: Pesos W Umbral B

61. Calculo de las Sensibilidades Backpropagation Iniciación S ˜ m S ˜ 1 m S ˜ 2 m  S ˜ Q m =

64. Ejemplo de LMBP w 1 1,1 w 2 1,1

65. Trayectoria del LMBP w 1 1,1 w 2 1,1

66. Ejemplos BP Método de Levenberg Marquardt

70. Simulación en Matlab / NNT

80. Dudas ???

81. Hasta la próxima !!!