Este documento describe el algoritmo de razón de aprendizaje variable (LVBP), el cual adapta dinámicamente la tasa de aprendizaje durante el entrenamiento de una red neuronal. Aumenta la tasa de aprendizaje cuando el error desciende constantemente y la reduce cuando el error aumenta, acelerando la convergencia. También presenta variantes como Delta-bar-delta y SuperSAB, y provee ejemplos de su implementación en Matlab/NNToolbox.

1. LVBP Razón de Aprendizaje Variable

2. Razón de Aprendizaje Variable (LVBP) Incrementa la velocidad de convergencia al aumentar la velocidad de aprendizaje  en superficies planas y diminuye esta razón cuando la pendiente aumenta.

3. Razón de Aprendizaje Adaptable (  ) Una forma de incrementar la velocidad de convergencia hacia un mínimo del error cuadrático medio (E) es variando la velocidad de aprendizaje. si E disminuye constantemente,  E es negativo para un número de pasos, entonces se debe incrementar la  .

4. Razón de Aprendizaje Adaptable (  ) 2 si E se ha incrementado (  E>0) entonces se debe reducir la  .

5. Reglas del algoritmo VLBP (1) 1.- Si el error cuadrático se incrementa mayor a un porcentaje establecido (1% a 5%) después de haber actualizado W; entonces se descarta la actualización;  se multiplica por 0 <  < 1  se ajusta a cero (si se utiliza el momento).

6. Reglas de algoritmo VLBP (2) 2.- si el error cuadrático disminuye después de haber actualizado W, entonces la actualización es aceptada.  es multiplicada por un factor  >1. Si  había sido ajusta a cero, este regresa a su valor original.

7. Reglas de Algoritmo VLBP 3.- Si el error cuadrático se incrementa en un valor menor a   , entonces la actualización de W se acepta pero  no cambia. Si  había sido ajusta a cero, este regresa a su valor original. Valores típicos:  = 1.05  = 0.7  =4%

8. Cuando la trayectoria viaja en línea recta,  y el tamaño del paso tienden a incrementarse con una disminución del error constante. Cuando la trayectoria llega a un valle angosto disminuye  rápidamente.

9. w 1 1,1 w 2 1,1 Ejemplo

10. Razón de Aprendizaje Error Cuadrático

11. Variantes del Algoritmo VLBP Delta-bar-delta (R. A Jacobs) Cada parámetro de la red (W y b) tiene su propia razón de aprendizaje. El algoritmo incrementa  , para un parámetro si este cambia en la misma dirección por varia iteraciones. Si la dirección del parámetro (p/ej. W ) cambia alternamente, entonces debe reducirse la  .

12. Variantes del Algoritmo VLBP (2) Algoritmo de tolerancia SuperSAB (T. Tollenaere) Es similar al Delta bar delta de Jacobs, pero tiene reglas mas complejas para ajustar la velocidad de aprendizaje 

13. Ejemplos Método del Momento y Aprendizaje variable

14. Ejemplo: 1 Aplique el algoritmo de Razón de Aprendizaje Variable y Momento a la siguiente función. Valores iniciales: A) Realice 5 iteraciones. B) Dibuje la superficie de error en 2D. C) Grafique los punto obtenidos.

15. Solución

16. La regla de actualización de pesos y umbrales es la misma que la usada en Backpropagation, con la variante que se modifica la velocidad de aprendizaje en cada época, cuando se actualiza por lotes de entrenamiento. La estimación instantánea del error se puede calcular por: Conclusión

17. Algoritmo de Retropropagación con Razón de Aprendizaje Variable Donde: Es la razón de aprendizaje variable, actualizada en cada época q.

18. Razón de Aprendizaje Variable con Momento

19. Simulación en Matlab / NNT

20. traingda Es una funcion que entrena redes multicapa con retropropagación, actualizando W y b de acuerdo al gradiente descendente con razón de aprendizaje adaptable. Sintaxis [net, tr] = traingda (net, P,T,A,Q,Ts,VV) Algoritmo de Retropropagación con Aprendizaje Adaptable (LVBP)

21. Donde: net = Define la red neuronal net = netff([0 5 ] [3 1] {tansig purelin} traingda ) P patrones de entrada T valores objetivo Ai Condiciones iniciales Q Tamaño del lote Ts Tamaño del paso VV Estructura de vectores de validación

22. Valores por omisión net.trainParam.epochs= 10 net.trainParam.goal= 0 net.trainParam.lr= 0.01 net.trainParam.lr_inc= 1.05 net.trainParam.lr_dec= 0.7 net.trainParam.max_fail= 5

23. Valores por omisión (2) net.trainParam.max_perf_inc= 1.04 net.trainParam.min_grad= 1e-10 net.trainParam.show= 25 net.trainParam.time= inf

24. trainbpx Entrena redes multicapa con retropropagación rápida. Se puede usar para redes de una,dos o tres capas. Ejemplo use la funcion trainbpx para una red de dos capas. [W1,b1,W2,b2,epochs,tr] = trainbpx (W1,b1,’tansig’, W2,b2,’purelin’,p,t,tp) Método del Momento y Aprendizaje Variable

25. Valores por omisión para tp tp= [disp-freq = 25 max-epoch= 100 err-goal= 0.02 lr= 0.01 momentum= 0.9 lr-inc= 1.05 lr-dec= 0.7 err-ratio= 1.04 ]

26. %EJEMPLO: OR EXCLUSIVA clear;echo on;clc;NNTWARN OFF; P = [0 0 1 1 ;0 1 0 1]; T = [0 1 1 0 ]; [w1,b1,w2,b2]=initff(P,2, 'tansig' ,1, 'purelin' ) [w1, b1,w2,b2,epochs,tr]= trainbpx(w1,b1, 'tansig' ,w2,b2, 'purelin' ,P,T)

27. [a1,a2]=simuff(P,w1,b1, 'tansig' ,w2,b2, 'purelin' ) pause %Pulse una tecla para graficar la solución plotpv(P,T); plotpc(w1,b1); plotpc(w2,b2); echo off

28. Dudas ???

29. Hasta la próxima !!!