REDES NEURONALES, ADALINE

1. Red Adaline B. Widrow & M. Hoff (Adaptive Linear Element)

4. Marcian E. Hoff Marcian E. Hoff was born in 1937 in Rochester N.Y. and graduated with a degree in Electrical Engineering from Rensselaer Polytechnic Institute in 1958. He received his Ph.D. from Stanford University in 1962 and stayed on as a research associate in computer area until 1968. Hoff joined Intel as Manager of Application Research in 1968, became an Intel fellow in 1980 and remained in this position until 1983. After a year at Atari, Marcian E. Hoff became a consultant with time for independent technical projects. Dr. M. E. Hoff is a recipient of the Stuart Ballantine award of the Franklin Institute, the Cledo Brunetti Award and holds an IEEE Centennial Medal. Dr. Hoff is a member of Sigma Xi and is an IEEE Fellow.

5. Características

8. Arquitectura

9. Arquitectura de ADALINE X 0 =1 X 1 W 0 X N X 2 X 3 W 1 W 2 W 3 W N S s S alida Lineal S alida binaria y Combinador Adaptativo Lineal Conmutador Bipolar s y -1 1

11. Arquitectura de ADALINE

12. Aplicaciones

15. Filtros Adaptativos Tapped Delay Line Adaptive Filter

16. Ejem. : Cancelación de Ruido

17. Cancelación de ruido, Filtro Adaptativo

18. Algoritmo de Aprendizaje

21. Ecuaciones Principales En forma de Matriz :  es la velocidad de aprendizaje determinada por Donde :  max : es el eigenvalor más grande de la matriz Hessiana R

22. Algoritmo de Aprendizaje en ADALINE 1. Se aplica un patrón de entrada P. 2. Se obtiene la salida del ALC y se calcula la diferencia con respecto a la deseada (error). 3. Se actualizan los pesos. 4. Se repiten pasos 1 a 3 con todos los vectores de entrada. 5. Si el Error es un valor aceptable, detenerse, si no repetir algoritmo.

23. Regla de Widrow-Hoff Consiste en hallar el vector de pesos W deseado, único, que deberá asociar cada vector de entrada con su correspondiente valor de salida correcto o deseado. La regla minimiza el error cuadrático medio definido como: donde: es la función de error

24. La derivada de la suma del error cuadrático con respecto a un peso W(i,j) (de la entrada j a la neurona i) para un solo vector de entrada p y vector objetivo t, es:

25. La regla de Widrow-Hoff es implementada realizando cambios a los pesos en la dirección opuesta en la que el error está incrementando y absorbiendo la constante -2 en lr . En forma de matriz: Transformando a la expresión del umbral (considerando que en el umbral es un peso con entradas de 1):

26. Superficie de Error

27. Superficies de error a) ADALINE b) PERCEPTRÓN

28. Superficies de Error Esta función de error está definida en el espacio de pesos multidimensional para un conjunto de entradas, y la regla de Widrow-Hoff busca el punto de este espacio donde se encuentra el mínimo global. Con función de activación lineal Con función de activación sigmoidal

30. Ejercicios

31. Ejemplo 1 Banana Manzana

32. Iteración Uno Banana

33. Iteración dos Manzana

34. Iteración Tres

35. Simulación de ADALINE en Neural Network Toolbox de Matlab

36. Modelo de una neurona lineal en MATLAB p(1) p(2) p(3) p(R) W(1,1) W(1,R) 1 b n a a = purelin(w*p+b) a = w*p+b 0 0 1 -1 a a b/w b/w p n a = purelin(n)

37. ADALINE Network  w i w i 1  w i 2  w i R  =

43. E = T - A; [ dW, db ] = learnwh( P, E, lr ) lr es la tasa de aprendizaje. Si es grande, el aprendizaje es rápido, pero si es demasiado grande, el aprendizaje es inestable y puede incrementarse el error. lr = maxlinlr( P ); % si se utiliza bias lr = maxlinlr( P, ‘bias’ ); %si no se utiliza bias W = W + dW; b = b + db;

45. Dudas ???

46. Hasta la próxima !!!