1. Inteligencia Artificial
(W0I9)
Sesión: 5
MSc. Ing. José C. Benítez P.
Red Adaline

2. 2
Adaline
Características.
Regla de Aprendizaje (LMS). Regla Delta.
Aplicaciones.
Clasificación de vectores.
Tratamiento de Señales.
Madaline.

3. 3
Adaline Características
En 1960, en la Universidad de Stanford, Bernard
Widrow y Marcian Hoff, introdujeron la red ADALINE
(ADAptive LInear Neuron – ADAptive LINear Element) y
una regla de aprendizaje que llamaron LMS (Least
mean square).
La adaline es similar al perceptron, sólo que su función
de transferencia es lineal, en lugar del escalón.
Igual que el perceptrón, sólo puede resolver
problemas linealmente separables.
ADALINE: ADAptive LINear Element.
ADALINE: Una única neurona de salida
MADALINE: Multiple ADALINE

4. 4
Adaline Características
Objetivo:
Aplicar los principios de aprendizaje del rendimiento a redes
lineales de una sola capa.
El aprendizaje Widrow-Hoff es una aproximación del
algoritmo del Descenso por gradiente, en el cual el índice de
rendimiento es el error cuadrático medio.
Importancia del algoritmo:
Se usa ampliamente en aplicaciones de procesamiento de
señales.
Es el precursor del algoritmo Backpropagation para redes
multicapas.

5. 5
Adaline Características
Algoritmo LMS:
Es más poderoso que la regla de aprendizaje del perceptron.
La regla de aprendizaje del perceptron garantiza convergencia a una
solución que clasifica correctamente los patrones de entrenamiento. Esa
red es sensible al ruido, debido a que los patrones con frecuencia están
muy cerca de las fronteras de decisión.
El algoritmo LMS minimiza el error cuadrático medio, desplaza las fronteras
de decisión lejos de los patrones de entrenamiento.
El algoritmo LMS tiene más aplicaciones prácticas que la regla de
aprendizaje del perceptron, especialmente en el procesamiento digital de
señales, como por ejemplo, para cancelar echo en líneas telefónicas de
larga distancia.
La aplicación de este algoritmo a redes multicapas no prosperó por lo que
Widrow se dedicó a trabajar en el campo del procesamiento digital
adaptativo, y en 1980 comenzó su investigación con la aplicación de las
Redes al control adaptativo, usando backpropagation temporal,
descendiente del LMS.

6. 6
Adaline Características
• Tipo de aprendizaje: Supervisado (OFF Line).
• Tipo de aprendizaje: por corrección de error.
• Algoritmo de aprendizaje: Regla del Mínimo Error
Cuadrático Medio (LMS), o regla Delta, o regla de
Widrow-Hoff
• Función de transferencia: lineal (purelin).
• Procesamiento de información analógica, tanto de
entrada como de salida, utilizando una función de
Activación Lineal o Sigmoidal.
• También puede resolver problemas LS.

7. 7
Adaline
Es aplicada a estructuras Lineales:
Idea:
Modificación de Pesos para tratar de reducir la diferencia entre la
salida deseada y la actual (para cada patrón).
Se denomina LMS (Least mean squares): Minimo Error
Cuadrático Medio sobre todos los patrones de entrenamiento.

8. 8
Adaline
Cálculo de Pesos Óptimos
Sea el conjunto de entrenamiento:
(X,D): Patrones de entrada y salidas deseadas.
X : Conjunto de L vectores de dimensión n.
D: Salida Deseada.
Conjunto de L vectores de dimensión m (en este caso m=1).
Y: Salida Obtenida
Conjunto de L vectores de dimensión m ( en este caso m=1).
Se trata de minimizar: Sea Yk la salida obtenida para el patrón k.

9. 9
Adaline

10. 10
Adaline

11. 11
Adaline
Cálculo de W*: Método de Gradiente Descendente.
Diferentes Métodos:
Buscar por todo el espacio de pesos hasta
encontrar los que hiciesen el error mínimo.
Realizar una búsqueda aleatoria.
Realizar una búsqueda Dirigida.
Método:
Se inicializan los pesos aleatoriamente (pto. de
partida).
Se determina, la dirección de la pendiente más
pronunciada en dirección hacia abajo.
Se modifican los pesos para encontrarnos un
poco más abajo en la superficie.

12. 12
Adaline

13. 13
Adaline

14. 14
Adaline
Algoritmo:
1. Inicialización de pesos.
2. Se aplica un patrón de entrada (entradas y salida
deseada).
3. Se computa la salida lineal que se obtiene de la red.
4. Se calcula el error cometido para dicho patrón.
5. Se actualizan las conexiones mediante la ecuación
obtenida anteriormente.
6. Se repiten los pasos del 2 al 5 para todos los patrones
de entrenamiento.
7. Si el error cuadrático medio es un valor reducido
aceptable, termina el proceso. Sino se vuelve al paso 2.

15. 15
Adaline
Aplicaciones:
La principal aplicación de las redes tipo Adaline se encuentra
en el campo de procesamiento de señales. Concretamente
en el diseño de filtros capaces de eliminar ruido en señales
portadoras de información.
Otra aplicación es la de los filtros adaptativos: Predecir el
valor futuro de una señal a partir de su valor actual.

16. 16
Adaline
CONCLUSIONES
Una simple capa de PE lineales pueden realizar
aproximaciones a funciones lineales o asociación de
patrones.
Una simple capa de PE lineales puede ser entrenada
con algoritmo LMS.
Relaciones No Lineales entre entradas y salidas no
pueden ser representadas exactamente por redes
lineales. Dichas redes harán aproximaciones lineales.
Otro tipo de redes abordarán la resolución de
problemas no lineales.

17. 17
Regla del Perceptron (Rosenblatt)
Supongamos un PE con una función de transferencia
del tipo Hardlimiter y en donde las entradas son
binarias o bipolares (mismo que Adaline pero con
esas restricciones).
La regla que rige el cambio de pesos es:
Wi(t+1) = Wi(t) Si la salida es correcta.
Wi(t+1) = Wi(t) + Xi(t) Si la salida = -1 y debería de ser 1.
Wi(t+1) = Wi(t) - Xi(t) Si la salida = 1 y debería de ser -1.
Sobre la regla anterior se han realizado diferentes
modificaciones:

18. 18
Regla del Perceptron (Rosenblatt)
A)
Wi(t+1) = Wi(t) Si la salida es correcta.
Wi(t+1) = Wi(t) + Xi(t) Si la salida = -1 y debería de ser 1.
Wi(t+1) = Wi(t) - Xi(t) Si la salida = 1 y debería de ser -1.
Con µ [0,1], término de control de ganancia y velocidad
de aprendizaje.
B) Otra de las modificaciones propuestas fue sugerida
por Widrow and Hoff. Ellos propusieron una regla basada
en la regla Delta. (Es la más utilizada).
Tomando las entradas y salidas como bipolares tenemos
que el cambio en los pesos se produce de la manera
siguiente:

19. 19
Regla del Perceptron (Rosenblatt)

20. 20
Regla del Perceptron (Rosenblatt)

21. Resumen
Las Tareas que no cumplan las
indicaciones no serán considerados
por el profesor.
21
Realizar un resumen mediante mapas conceptuales (CMapTools)
de esta diapositiva.
Serán mejor consideradas los resúmenes que tengan información
extra a esta diapositiva.
Las fuentes adicionales utilizadas en el resumen se presentarán
en su carpeta personal del Dropbox y deben conservar el nombre
original y agregar al final _S5.
Las fuentes y los archivos *.cmap deben colocarse dentro de su
carpeta personal del Dropbox, dentro de una carpeta de nombre:
IA_PaternoM_S5

22. Preguntas
El resumen con mapas conceptuales solicitado de la Sesión al
menos debe responder las siguientes preguntas:
1. ¿Cuáles son las características de la red Adaline?
2. Describir el algoritmo de aprendizaje de la red Adaline.
3. Comparar las características del Perceptron y de Adaline.
4. Comparar la regla de aprendizaje del Perceptron y de Adaline.
5. Listar cinco aplicaciones de las redes Adaline/Madaline.
22

23. 23
Sesión 5. Redes Adaline
Inteligencia Artificial
http://utpiayse.blogspot.com