Las redes ADALINE y MADALINE fueron desarrolladas en 1960 por Bernie Widrow y Marcian Hoff en la Universidad de Stanford para realizar clasificación lineal. ADALINE consiste en una única neurona de salida, mientras que MADALINE tiene varias neuronas de salida. Ambas redes aprenden mediante el algoritmo LMS (regla del mínimo error cuadrático medio), el cual minimiza el error cuadrático medio para ajustar los pesos y mejorar la clasificación.

1. Red Adaline B. Widrow & M. Hoff (Adaptive Linear Element)

2. REDES ADALINE Y MADALINE Desarrolladas en 1960 por Bernie Widrow y Marcian Hoff en la Universidad de Stanford. ADALINE: ADAptive LINear Element ADALINE: Una única Neurona de Salida. MADALINE: Varias Neuronas de Salida. MADALINE (Multiple ADALINE)

3. Bernard Widrow Professor Adaptive Systems. Widrow concentrates on adaptive signal processing, adaptive control systems, and adaptive neural networks. Adaptive systems have the ability to learn and improve their behavior through contact with their environments. Applications include signal processing, control systems, and pattern recognition. Sc.D. MIT 1956 Department of Electrical Engineering Durand Bldg., Rm. 139 723-4949 [email_address]

4. Marcian E. Hoff Marcian E. Hoff was born in 1937 in Rochester N.Y. and graduated with a degree in Electrical Engineering from Rensselaer Polytechnic Institute in 1958. He received his Ph.D. from Stanford University in 1962 and stayed on as a research associate in computer area until 1968. Hoff joined Intel as Manager of Application Research in 1968, became an Intel fellow in 1980 and remained in this position until 1983. After a year at Atari, Marcian E. Hoff became a consultant with time for independent technical projects. Dr. M. E. Hoff is a recipient of the Stuart Ballantine award of the Franklin Institute, the Cledo Brunetti Award and holds an IEEE Centennial Medal. Dr. Hoff is a member of Sigma Xi and is an IEEE Fellow.

5. Características

6. Diferencias con el PERCEPTRON Algoritmo de aprendizaje: Regla del Mínimo Error Cuadrado Medio (LMS), o regla Delta, o regla de Widrow-Hoff Su función de transferencia es lineal, (pureline ) Procesamiento de información analógica, tanto de entrada como de salida, utilizando una función de Activación Lineal o Sigmoidal. También puede resolver problemas linealmente separables.

7. Diferencias con el PERCEPTRON El algoritmo LMS minimiza el error cuadrático medio y trata de mover la frontera de decisión tan lejos como sea posible de los patrones de entrenamiento La red ADALINE es menos sensible al ruido Las redes ADALINE y MADALINE tiene usos prácticos en el procesamiento de señales digitales.

8. Arquitectura

9. Arquitectura de ADALINE X 0 =1 X 1 W 0 X N X 2 X 3 W 1 W 2 W 3 W N S s S alida Lineal S alida binaria y Combinador Adaptativo Lineal Conmutador Bipolar s y -1 1

10. Arquitectura de ADALINE Formada por un elemento denominado: Combinador Adaptativo Lineal (ALC). La salida lineal obtenida del ALC se aplica a un Conmutador Bipolar. El Umbral de la F. de T. se representa a través de una conexión ficticia de peso Wo (b)

11. Arquitectura de ADALINE

12. Aplicaciones

13. Aplicaciones de ADALINE Procesamiento de Señales. Filtros que eliminen el ruido en señales portadoras de información. Filtros de ecualización adaptativos en Módems de alta velocidad. Cancelación del ruido materno de grabaciones ECG del latido del feto humano.

14. Aplicaciones (continuación) Eliminación de ecos en circuitos telefónicos. Canceladores adaptativos del eco para el filtrado de señales en comunicaciones telefónicas de larga distancia y comunicaciones vía satélite.

15. Filtros Adaptativos Tapped Delay Line Adaptive Filter

16. Ejem. : Cancelación de Ruido

17. Cancelación de ruido, Filtro Adaptativo

18. Algoritmo de Aprendizaje

19. Aprendizaje en la Red ADALINE Aprendizaje OFF-LINE con Supervisión LMS LMS trata de minimizar una diferencia entre el valor obtenido y el deseado; como en el PERCEPTRON, sólo que ahora la salida considerada es la salida obtenida al aplicar una función de activación lineal.

20. Aprendizaje en ADALINE (continuación) El entrenamiento de la red consiste en adaptar los pesos a medida que se vayan presentando los patrones de entrenamiento y salidas deseadas para cada uno de ellos. Para cada combinación E/S se realiza un proceso automático de pequeños ajustes en los valores de los pesos hasta que se obtienen las salidas correctas.

21. Ecuaciones Principales En forma de Matriz :  es la velocidad de aprendizaje determinada por Donde :  max : es el eigenvalor más grande de la matriz Hessiana R

22. Algoritmo de Aprendizaje en ADALINE 1. Se aplica un patrón de entrada P. 2. Se obtiene la salida del ALC y se calcula la diferencia con respecto a la deseada (error). 3. Se actualizan los pesos. 4. Se repiten pasos 1 a 3 con todos los vectores de entrada. 5. Si el Error es un valor aceptable, detenerse, si no repetir algoritmo.

23. Regla de Widrow-Hoff Consiste en hallar el vector de pesos W deseado, único, que deberá asociar cada vector de entrada con su correspondiente valor de salida correcto o deseado. La regla minimiza el error cuadrático medio definido como: donde: es la función de error

24. La derivada de la suma del error cuadrático con respecto a un peso W(i,j) (de la entrada j a la neurona i) para un solo vector de entrada p y vector objetivo t, es:

25. La regla de Widrow-Hoff es implementada realizando cambios a los pesos en la dirección opuesta en la que el error está incrementando y absorbiendo la constante -2 en lr . En forma de matriz: Transformando a la expresión del umbral (considerando que en el umbral es un peso con entradas de 1):

26. Superficie de Error

27. Superficies de error a) ADALINE b) PERCEPTRÓN

28. Superficies de Error Esta función de error está definida en el espacio de pesos multidimensional para un conjunto de entradas, y la regla de Widrow-Hoff busca el punto de este espacio donde se encuentra el mínimo global. Con función de activación lineal Con función de activación sigmoidal

29. Función de error . |Para un ALC con solo dos pesos, la superficie de error es un paraboloide. Los pesos que minimizan el error se tienen en el fondo de la superficie paraboloidal

30. Ejercicios

31. Ejemplo 1 Banana Manzana

32. Iteración Uno Banana

33. Iteración dos Manzana

34. Iteración Tres

35. Simulación de ADALINE en Neural Network Toolbox de Matlab

36. Modelo de una neurona lineal en MATLAB p(1) p(2) p(3) p(R) W(1,1) W(1,R) 1 b n a a = purelin(w*p+b) a = w*p+b 0 0 1 -1 a a b/w b/w p n a = purelin(n)

37. ADALINE Network  w i w i 1  w i 2  w i R  =

38. [W,b]=initlin(P,T) crea un conjunto de pesos y umbrales aleatorios iniciales positivos y negativos para una red Adaline. Toma una matriz de de vectores de entrada P, y de salida TS , regresando los valores de W y b correspondientes a las dimensiones de la red.

39. [W,b]=solvelin(P,T); W=solvelin(P,T); Diseña redes Adaline directamente si se conocen sus vectores de entrada y objetivo, calculando los valores de los pesos y el bias sin necesidad de entrenamiento.

40. [W,b,ep,tr]= trainwh(W,b,P,T,tp) tp=[disp_freq max-epoch err-goal lr] Entrena una red Adaline, hasta alcanzar el minimo error eepecificado en sus parametros iniciales.

41. A=simulin(P,W,b) Simula la red Adaline con los parametros calculados en el entrenamiento y prueba cada uno de los patrones clasificandolos.

42. Entrenamiento Paso a Paso A = simulin (P,W,b) E = T - A [dW,db] = learnwh (P,E,lr) W = W + dW b = b + dW

43. E = T - A; [ dW, db ] = learnwh( P, E, lr ) lr es la tasa de aprendizaje. Si es grande, el aprendizaje es rápido, pero si es demasiado grande, el aprendizaje es inestable y puede incrementarse el error. lr = maxlinlr( P ); % si se utiliza bias lr = maxlinlr( P, ‘bias’ ); %si no se utiliza bias W = W + dW; b = b + db;

44. Ejemplo de Codificación P = [ 1 1; 1 -1 ]; T= [ 1 0]; [W,b] = initlin ( P,T ) [W,b] = solvelin ( P,T ) plotpv ( P,T ) plotpc ( W,b )

45. Dudas ???

46. Hasta la próxima !!!