La red Adaline (1) tiene una función de transferencia lineal y puede resolver problemas linealmente separables. Usa el algoritmo LMS para minimizar el error cuadrático medio mediante la actualización de los pesos. Este algoritmo se aplica comúnmente en procesamiento de señales. Mientras que el perceptrón solo puede clasificar datos binarios, la red Adaline puede procesar datos analógicos tanto de entrada como de salida.
El presente artículo técnico tiene la siguiente estructura: estado del arte, resultados y conclusiones.
El estado del arte se define en las 5 primeras secciones:
Sección 1: Neurona biológica y artificial, describe la estructura neuronal.
Sección 2: Funciones de activación o trasnferencia, se realiza una comparación de las funciones de activación más utilizadas.
Sección 3: Funciones satlin y satlins, describe la aplicación de estas funciones.
Sección4: Redes neuronales de hopfield, describe la arquitectura de una red de hopfield.
Sección5: Diseño de una red de Hopfield, describe el diseño de la red de hopfield.
Resultados del ejercicio práctico:
Sección 7: Reconocimiento de Dígitos impares con Hopfield, se presenta la solución en matlab y resultados obtenidos.
Sección 8: Conclusiones.
Nueva lista de los libros más vendidos del 17 al 23 de noviembre de 2014. Realizada por Alberto Berenguer del blog "De lectura Obligada". Aparecen los libros de ficción y no ficción más vendidos en España, además de los ebooks más vendidos en nuestro país. También, según Amazon, los ebooks más vendidos en Francia, Alemania, Italia, UK, Canadá, Japón y Egipto.
El presente artículo técnico tiene la siguiente estructura: estado del arte, resultados y conclusiones.
El estado del arte se define en las 5 primeras secciones:
Sección 1: Neurona biológica y artificial, describe la estructura neuronal.
Sección 2: Funciones de activación o trasnferencia, se realiza una comparación de las funciones de activación más utilizadas.
Sección 3: Funciones satlin y satlins, describe la aplicación de estas funciones.
Sección4: Redes neuronales de hopfield, describe la arquitectura de una red de hopfield.
Sección5: Diseño de una red de Hopfield, describe el diseño de la red de hopfield.
Resultados del ejercicio práctico:
Sección 7: Reconocimiento de Dígitos impares con Hopfield, se presenta la solución en matlab y resultados obtenidos.
Sección 8: Conclusiones.
Nueva lista de los libros más vendidos del 17 al 23 de noviembre de 2014. Realizada por Alberto Berenguer del blog "De lectura Obligada". Aparecen los libros de ficción y no ficción más vendidos en España, además de los ebooks más vendidos en nuestro país. También, según Amazon, los ebooks más vendidos en Francia, Alemania, Italia, UK, Canadá, Japón y Egipto.
Nueva lista de los libros más vendidos del 29 al 05 de octubre de 2014. Realizada por Alberto Berenguer del blog "De lectura Obligada". Aparecen los libros de ficción y no ficción más vendidos en España, además de los ebooks más vendidos en nuestro país. También, según Amazon, los ebooks más vendidos en Francia, Alemania, Italia, UK, Canadá y Japón. Además hemos incluido gracias a Alef Bookstores y Diwan Bookstore los libros más vendidos en Egipto.
3. 3
Adaline Características
En 1960, en la Universidad de Stanford, Bernard
Widrow y Marcian Hoff, introdujeron la red ADALINE
(ADAptive LInear Neuron – ADAptive LINear Element) y
una regla de aprendizaje que llamaron LMS (Least
mean square).
La adaline es similar al perceptron, sólo que su función
de transferencia es lineal, en lugar del escalón.
Igual que el perceptrón, sólo puede resolver
problemas linealmente separables.
ADALINE: ADAptive LINear Element.
ADALINE: Una única neurona de salida
MADALINE: Multiple ADALINE
4. 4
Adaline Características
Objetivo:
Aplicar los principios de aprendizaje del rendimiento a redes
lineales de una sola capa.
El aprendizaje Widrow-Hoff es una aproximación del
algoritmo del Descenso por gradiente, en el cual el índice de
rendimiento es el error cuadrático medio.
Importancia del algoritmo:
Se usa ampliamente en aplicaciones de procesamiento de
señales.
Es el precursor del algoritmo Backpropagation para redes
multicapas.
5. 5
Adaline Características
Algoritmo LMS:
Es más poderoso que la regla de aprendizaje del perceptron.
La regla de aprendizaje del perceptron garantiza convergencia a una
solución que clasifica correctamente los patrones de entrenamiento. Esa
red es sensible al ruido, debido a que los patrones con frecuencia están
muy cerca de las fronteras de decisión.
El algoritmo LMS minimiza el error cuadrático medio, desplaza las fronteras
de decisión lejos de los patrones de entrenamiento.
El algoritmo LMS tiene más aplicaciones prácticas que la regla de
aprendizaje del perceptron, especialmente en el procesamiento digital de
señales, como por ejemplo, para cancelar echo en líneas telefónicas de
larga distancia.
La aplicación de este algoritmo a redes multicapas no prosperó por lo que
Widrow se dedicó a trabajar en el campo del procesamiento digital
adaptativo, y en 1980 comenzó su investigación con la aplicación de las
Redes al control adaptativo, usando backpropagation temporal,
descendiente del LMS.
6. 6
Adaline Características
• Tipo de aprendizaje: Supervisado (OFF Line).
• Tipo de aprendizaje: por corrección de error.
• Algoritmo de aprendizaje: Regla del Mínimo Error
Cuadrático Medio (LMS), o regla Delta, o regla de
Widrow-Hoff
• Función de transferencia: lineal (purelin).
• Procesamiento de información analógica, tanto de
entrada como de salida, utilizando una función de
Activación Lineal o Sigmoidal.
• También puede resolver problemas LS.
7. 7
Adaline
Es aplicada a estructuras Lineales:
Idea:
Modificación de Pesos para tratar de reducir la diferencia entre la
salida deseada y la actual (para cada patrón).
Se denomina LMS (Least mean squares): Minimo Error
Cuadrático Medio sobre todos los patrones de entrenamiento.
8. 8
Adaline
Cálculo de Pesos Óptimos
Sea el conjunto de entrenamiento:
(X,D): Patrones de entrada y salidas deseadas.
X : Conjunto de L vectores de dimensión n.
D: Salida Deseada.
Conjunto de L vectores de dimensión m (en este caso m=1).
Y: Salida Obtenida
Conjunto de L vectores de dimensión m ( en este caso m=1).
Se trata de minimizar: Sea Yk la salida obtenida para el patrón k.
11. 11
Adaline
Cálculo de W*: Método de Gradiente Descendente.
Diferentes Métodos:
Buscar por todo el espacio de pesos hasta
encontrar los que hiciesen el error mínimo.
Realizar una búsqueda aleatoria.
Realizar una búsqueda Dirigida.
Método:
Se inicializan los pesos aleatoriamente (pto. de
partida).
Se determina, la dirección de la pendiente más
pronunciada en dirección hacia abajo.
Se modifican los pesos para encontrarnos un
poco más abajo en la superficie.
14. 14
Adaline
Algoritmo:
1. Inicialización de pesos.
2. Se aplica un patrón de entrada (entradas y salida
deseada).
3. Se computa la salida lineal que se obtiene de la red.
4. Se calcula el error cometido para dicho patrón.
5. Se actualizan las conexiones mediante la ecuación
obtenida anteriormente.
6. Se repiten los pasos del 2 al 5 para todos los patrones
de entrenamiento.
7. Si el error cuadrático medio es un valor reducido
aceptable, termina el proceso. Sino se vuelve al paso 2.
15. 15
Adaline
Aplicaciones:
La principal aplicación de las redes tipo Adaline se encuentra
en el campo de procesamiento de señales. Concretamente
en el diseño de filtros capaces de eliminar ruido en señales
portadoras de información.
Otra aplicación es la de los filtros adaptativos: Predecir el
valor futuro de una señal a partir de su valor actual.
16. 16
Adaline
CONCLUSIONES
Una simple capa de PE lineales pueden realizar
aproximaciones a funciones lineales o asociación de
patrones.
Una simple capa de PE lineales puede ser entrenada
con algoritmo LMS.
Relaciones No Lineales entre entradas y salidas no
pueden ser representadas exactamente por redes
lineales. Dichas redes harán aproximaciones lineales.
Otro tipo de redes abordarán la resolución de
problemas no lineales.
17. 17
Regla del Perceptron (Rosenblatt)
Supongamos un PE con una función de transferencia
del tipo Hardlimiter y en donde las entradas son
binarias o bipolares (mismo que Adaline pero con
esas restricciones).
La regla que rige el cambio de pesos es:
Wi(t+1) = Wi(t) Si la salida es correcta.
Wi(t+1) = Wi(t) + Xi(t) Si la salida = -1 y debería de ser 1.
Wi(t+1) = Wi(t) - Xi(t) Si la salida = 1 y debería de ser -1.
Sobre la regla anterior se han realizado diferentes
modificaciones:
18. 18
Regla del Perceptron (Rosenblatt)
A)
Wi(t+1) = Wi(t) Si la salida es correcta.
Wi(t+1) = Wi(t) + Xi(t) Si la salida = -1 y debería de ser 1.
Wi(t+1) = Wi(t) - Xi(t) Si la salida = 1 y debería de ser -1.
Con µ [0,1], término de control de ganancia y velocidad
de aprendizaje.
B) Otra de las modificaciones propuestas fue sugerida
por Widrow and Hoff. Ellos propusieron una regla basada
en la regla Delta. (Es la más utilizada).
Tomando las entradas y salidas como bipolares tenemos
que el cambio en los pesos se produce de la manera
siguiente:
21. Resumen
Las Tareas que no cumplan las
indicaciones no serán considerados
por el profesor.
21
Realizar un resumen mediante mapas conceptuales (CMapTools)
de esta diapositiva.
Serán mejor consideradas los resúmenes que tengan información
extra a esta diapositiva.
Las fuentes adicionales utilizadas en el resumen se presentarán
en su carpeta personal del Dropbox y deben conservar el nombre
original y agregar al final _S5.
Las fuentes y los archivos *.cmap deben colocarse dentro de su
carpeta personal del Dropbox, dentro de una carpeta de nombre:
IA_PaternoM_S5
22. Preguntas
El resumen con mapas conceptuales solicitado de la Sesión al
menos debe responder las siguientes preguntas:
1. ¿Cuáles son las características de la red Adaline?
2. Describir el algoritmo de aprendizaje de la red Adaline.
3. Comparar las características del Perceptron y de Adaline.
4. Comparar la regla de aprendizaje del Perceptron y de Adaline.
5. Listar cinco aplicaciones de las redes Adaline/Madaline.
22