Cap 3 redes neuronales

Reporte Bloque 3 REDES NEURONALES ARTIFICIALES FUNDAMENTOS, MODELOS Y APLICACIONES
Cachorros Reporte 1 19 de Agosto 2014
Página 1 de 19
REDES NEURONALES ARTIFICIALES FUNDAMENTOS, MODELOS Y APLICACIONES

Página 2 de 19
Contenido
Topologías de las redes neuronales……………………………………….……pag1
Redes monocapa……………………………………………………………...........pag3
Redes multicapa………………..……………………………………………………pag3
Redes con conexiones hacia adelante (feedforward) ………………….........pag4
Redes con conexión hacia adelante y hacia atrás (feedforward/feedback)...... ……………..………………………………………..………………………………….pag4
Mecanismo de aprendizaje………………..……………………………………… pag4
Redes con aprendizaje supervisado………………..…………………………....pag5
Aprendizaje por corrección de error………………..………………………..…. pag5
Aprendizaje por refuerzo………………..………………………………………… pag7
Aprendizaje Estocástico………………..………………………………………….pag8
Redes con aprendizaje no supervisado………………..………………………. pag8
Aprendizaje hebbiano………………..……………………………………………..pag9
Aprendizaje Competitivo y Cooperativo………………..…………………….. pag10
Tipo de asociación entre las informaciones de entrada y salida………… pag12
Red Heteroasociativa………………..…………………………………………… pag12
Red Autoasociativa………………..………………………………………………pag13
Representación de la información de entrada y salida………………..…....pag15
Caracteristicas de los modelos de redes neuronales mas conocidos…..pag15

Página 3 de 19
Topologías de las redes neuronales
La topología o arquitectura de las rede neuronales consiste en la organización y disposición de la neuronas en la red formando copas o agrupaciones.
Párrafo 2/pag.69/renglón 1,2,3/reporte 1
Los parámetros fundamentales: el número de capaz, el número de neuronas por capa, el grado de conectividad y el tipo de conexiones entre neuronas.
Párrafo 2/pag.69/renglón 4/reporte 1
Una clasificación de las redes en términos topológicos, suele distinguir entre las redes con una sola capa o nivel de neuronas y las redes múltiples capas.
Redes monocapa
En la redes monocapa, la red HOPFIELD, la red BRAIN-STATE-IN-A-BOX establece conexiones laterales entre las neuronas que pertenecen a la única capa que constituye la capa, pueden existir capaz conexiones autorrecurrentes.
Crossbar suele utilizarse como etapa de transición cuando se pretende implementar físicamente una red monocapa.
Las redes monocapa se utilizan típicamente en tareas relacionadas con lo que se conoce como auto asociación.
Redes multicapa
Son aquellas que disponen de conjuntos de neuronas, una forma para distinguir la capa a la que pertenece una neurona, consistirá en fijarse en el origen de las señales que reciben a la entrada y el destino de la señal de salida.
Un gran número de estas redes también existen la posibilidad de conectar las salidas de las neuronas de capas posteriores a las entradas de las capas anteriores, a estas conexiones se les denomina conexiones hacia atrás o feedback.
Párrafo 2/pag.71/renglón 1,2/reporte 1

Página 4 de 19
Las redes con conexiones hacia adelante o redes feedforward y las redes que disponen de conexiones tanto hacia adelante como hacia atrás o redes feedback/feedforward.
Redes con conexiones hacia adelante (feedforward)
En las redes feedforward todas las señales neuronales se propagan hacia adelante a través de las capas de la red, por ende es mas factible para obtener resultados.
En el caso de los modelos de red propuestos por Kohonen denominados LEARNING VECTOR QUANTIZER (LVQ) y TOPOLOGY PRESERVING MAP (TPM), en las que existen unas conexiones implícitas muy particulares entre las neuronas de la capa de salida.
Las redes feedforward más conocidas son: PERCEPTRON, ADALINE, MADALINE, LINEAR ADAPTIVE MEMORY (LAM), DRIVE-REINFORCE-MENT, BACKPROPAGATION. Son específicamente útiles en las aplicaciones de reconocimiento o clasificación de patrones.
Redes con conexión hacia adelante y hacia atrás (feedforward/feedback)
En este tipo de redes circulan información tanto hacia delante como hacia atrás durante el funcionamiento de la red esto es posible feedforward y conexiones feedback entre las neuronas las redes cagnitron y neocognitron suelen ser bicapa los valores de los pesos de estos tiposde conexiones no tienen por que coincidir siendo diferentes en la mayor parte de los casos este tipo de estructura es principalmente para realizar una asociación de información o patrón de entrada con otra información este tipo de funcionamiento basado en lo que se conoce como resonancia de tal forma que la primera y segunda capa interactúen entre si hasta que alcance un estado estable
Párrafo 2/pag.72/renglón 5,7,12,13/reporte 1
Mecanismo de aprendizaje
El aprendizaje es el proceso por el cual una re modifica sus pesos en respuesta a una información de entrada.

Página 5 de 19
Los modelos de redes neuronales artificiales le creación de una nueva conexión implica que el paso de la misma pasa tener un valor distinto de cero. En el proceso de las conexiones de la red sufren modificación por lo tanto estos procesos se han terminado.
El conocer cómo se modifica los valores d los pesos cambia el valor asignado a las conexiones cuando se pretende que la red aprende una nueva información, La regla de aprendizaje las que responde a lo que habitualmente se conoce como aprendizaje supervisado y correspondiente a un aprendizaje no supervisado
RNA CON APRENDIZAJE SUPERVISADO
RNA CON APRENDIZAJE NO SUPERVISADO
Párrafo 1,2,3,4/pag.75/renglón 1,2 7,8,9,10,12,15,20/reporte 1
Redes con aprendizaje supervisado
ESTE SE CARACTERIZA por el proceso de aprendizaje se realiza mediante un entrenamiento controlado por un agente externo que determina la respuesta que debería generar la red a partir de una entrada determinada el supervisor comprueba la salida de la red y en el caso de que coincida se producirá una modificación en los pesos de las conexiones Aprendizaje por corrección de error Aprendizaje por refuerzo Aprendizaje por estocástico
Párrafo 1,/pag.76/renglón 1,2,3,7/reporte
Aprendizaje por corrección de error
Presenta al sistema un conjunto de pares de datos, representado la entrada y la salida deseada para dicha entrada. Ajustando los pesos de las conexiones de la red para después hacer la relación en función de la diferencia entre los todos los valores deseados y obtenidos en la salida, como se muestra: Fig. 3.1
Párrafo 1,/pag.77/renglón 1,2,3/reporte 1
Es un aprendizaje ON Line

Página 6 de 19
Aquí se muestra un esquema mas claro:
Algoritmos que utilizan este tipo de aprendizaje son:
 Regla de aprendizaje del perceptron: utilizada en la red PERCEPTRON
 Regla delta o del mínimo error cuadrado: utilizado en las redes ADALINE y MADALINE.
 Regla delta generalizada: utilizada en redes multicapa
 :factor de aprendizaje ( 0 <  < 1 )

Página 7 de 19
Aprendizaje por refuerzo
Es un aprendizaje ON Line. Donde hay una relación de entrada-salida a través de un proceso de éxito o fracaso (éxito=+1 o fracaso=-1), el cual produce la señal de refuerzo que ayuda al sistema a su buen funcionamiento en todos los aspectos.
Párrafo 3,/pag.80/renglón 1,2,3 /reporte 1

Página 8 de 19
Algunos personajes han formulado el aprendizaje por Refuerzo, lo han hecho como una estrategia de aprendizaje en donde no se necesita un conjunto de ejemplos evaluados por un profesor. Estos Personajes fueron Barto, Sutton y Anderson
El sistema descrito por Barto explora el espacio entrada-salida y usa una señal de refuerzo (feeback) sobre las consecuencias de la señal de control (salida de la red) sobre el entorno.
Entonces se puede decir: Los pesos se ajustan en base a la señal de refuerzo basándose en un mecanismo de probabilidades.
Párrafo 3,/pag.80/renglón 3 y 4 /reporte 1
Aprendizaje Estocástico
A partir del objetivo deseado y de distribuciones de probabilidad vienen los cambios en los valores de los pesos y de inmediato se evalúa. De acuerdo algunas indagaciones una red que utiliza este tipo de aprendizaje es la red Boltzman Machine, ideada por Hinton, Ackley y Sejnowski en 1984 y la red Cauchy Machine desarrollada por Szu en 1986.
Proceso de la red que utiliza este tipo de Aprendizaje Estocástico:
 Se realiza un cambio aleatorio en los Pesos.
 Se determina la nueva energía de la red
 Si la energía no decrece: se aceptaría el cambio en función de una determinada y preestablecida distribución de probabilidades.
Es un aprendizaje OFF Line
Redes con aprendizaje no supervisado
Conocido como auto supervisado es decir, que no depende de lo externo para ajustar los pesos entre la conexión de neuronas.
Su objetivo de este aprendizaje es encontrar grupos de información, reducción de la dimensionalidad, construcción de mapas topográficos, encontrar causas ocultas y modelar la densidad de datos.

Página 9 de 19
Algunos usos de este aprendizaje son:
• Compresión de Datos.
• Clasificación.
• Hacer otras tares de aprendizaje más fácil.
• Una teoría del aprendizaje humano y la percepción.
Aprendizaje hebbiano
Este modelo memorístico fue postulado en 1949 por Donald Hebb. Afirmó que la huella de un recuerdo fruto de una experiencia ocurre y se mantiene por medio de modificaciones celulares que primero trazan y luego consolidan la estructura espacial de las redes neuronales.
Entonces es el ajuste de los pesos de las conexiones de acuerdo con correlación. Se entiende por correlación es este caso como la multiplicación de valores binarios +1 y -1, de los valores de activación, ósea; salidas de las dos neuronas conectadas.
Topología de Red:
Si las dos unidades son activas (positivas), se produce un reforzamiento de la conexión, pero si una es activa y la otra pasiva (negativa), se produce un debilitamiento de la conexión.
i
j
Wji

Página 10 de 19
La modificación de los pesos se realiza en función de los estados (salidas) de las neuronas obtenidas tras la presentación de cierto estímulo (información de entrada a la red), sin tener en cuenta si se deseaba obtener o no esos estados de activación.
Hebb sugirió que la fuerza de la sinapsis en el cerebro cambia proporcionalmente a la correlación entre el disparo de las neuronas pre y post sinápticas.
La regla de aprendizaje de Hebb es NO Supervisada y se utiliza en redes neuronales feedforward debido a que solo se emplea el producto de las entradas y las salidas actuales para la modificación de los pesos.
Ninguna salida deseada se proporciona para generar la señal de aprendizaje que actualizará los pesos, Porque requiere de la inicialización de los pesos en valores pequeños y aleatorios cercanos a cero antes de realizar el aprendizaje.
Para finalizar con este subtema existen varias aplicaciones de este tipo de aprendizaje; en el diseño de circuitos integrados VLSI. Por su fácil implementación, reconocimiento de voz, reconocimiento de imágenes, control de motores, y reconocimiento de patrones.
Así como la resolución de problemas de optimización, ecuaciones, manipulación de grafos procesamiento de señales (diseño de convertidores analógico-digitales) y procesamiento de imágenes.
Aprendizaje Competitivo y Cooperativo
Suele decirse que las neuronas compiten (y cooperan) unas con otras con el fin de llevar a cabo una tarea dada. Con este tipo de aprendizaje, se pretende que cuando se presente a la red cierta información de entrada, solo una neurona de la salida de la red.
El objetivo de este aprendizaje es categorizar (clusterizar) datos que se introducen en la red; las informaciones similares son clasificadas formando parte de la misma categoría, y por tanto deben activar la misma neurona de salida.
Página 87/Párrafo 1/Renglón 1, 2, 3, 4/Reporte 1
Una forma de aplicar este tipo de aprendizaje fue propuesta por Rumelhart Zisper en 1985 [Rumelhart 85], utilizaban redes multicapa dividiendo cada capa en grupos de neuronas, estas disponían de conexiones inhibitorias con otras neuronas de su mismo grupo, y conexiones excitadoras con las neuronas de la siguiente capa.
Página 87/Párrafo 2/Renglón 1, 2, 3, 4, 5 /Reporte 1
En este tipo de red, cada neurona tiene asignado un peso total, suma de todos los, pesos de las conexiones que tiene a su entrada. El aprendizaje afecta solo a las neuronas ganadoras (activas), redistribuyendo este peso total entre sus conexiones, sustrayendo una porción a los pesos de todas las conexiones que llegan a la

Página 11 de 19
neurona vencedora y repartiendo esta cantidad por igual entre todas las conexiones procedentes de unidades activas.
Página 87/Párrafo 3/Renglón 1, 2, 3, 4, 5, 6/Reporte 1
Un ejemplo de este tipo fue desarrollado por Kohonen [Kohonen 88b], conocido como LVQ aplicado en redes feedforward de dos capas, y su uso depende de cómo de precise obtener una o varias unidades vencedoras en la capa de salida.
En otro caso en el que se emplea el aprendizaje competitivo es la conocida Teoría de la resonancia adaptativa desarrollado por Carpenter y Grossberg en 1986 [Carpenter 86] utilizado en la red ART en sus dos variantes (ART1 y ART2) de dos capas que maneja información analógica. Esta red realiza un prototipo de la informaciones que recibe a la entrega, generando como salida un ejemplar o prototipo que representa a todas las informaciones que podrían considerarse pertenecientes a la misma clase de categoría.
Página 88/Párrafo 4/Renglón 3, 4, 5, 6, 7, 8, 9, 10/Reporte 1
Clasificación de Redes Neuronales con aprendizaje supervisado mas importantes Tipos de aprendizaje no supervisado Modelo de Red Aprendizaje Hebbiano HIOPFIELD Off Line
LEARNING MATRIX TEMPORAL ASSOC. MEMORY
LINEAR ASSOC. MEMORY (LAM) OPTIMAL LAM
DRIVE-REINFORCEMENT FUZZY ASSOC. MEMORY
ADDITIVE GROSSBERG
On Line SHUNTING GROSSBERG
BIDIRECTIONAL ASSOC. MEMORY (BAM) Aprendizaje Competitivo /Cooperativo ADAPTIVE BAM
LEARNING VECTOR QUANTIZER
Off Line COGNITRON/NEOCOGNITRON
TOPOLOGY PRESERVING MAP ADAPTIVE RESONANCE THEORY On Line
Página 89/ Tabla 1/ Renglón / Reporte 1

Página 12 de 19
Tipo de asociación entre las informaciones de entrada y salida
Las redes neuronales son sistemas que almacenan cierta información aprendida; esa se registra de forma distribuida en los pesos asociados a las conexiones entre neuronas. Cuando se aplica un estímulo (Dato de entrada) la red responde con una salida asociativa a dicha información de entrada, a esto se le llama memoria asociativa.
Página 90/Párrafo 1/Renglón 1, 2, 3, 6, 8/Reporte 1
Existen dos formas primarias de realizar esta asociación entre entrada/salida que se corresponden con la naturaleza de la información almacenada en la red.
La primera se llama Heteroasociación que se refiere a que la red aprende parejas de datos [(퐴1,퐵1),(퐴2,퐵2)…(퐴푁1,퐵푁2)], de tal forma que cuando se presente cierta información de entrada Ai, deberá responder generando la correspondiente salida asociada Bi.
La segunda se conoce como Autoasociación, donde la red aprende ciertas formaciones 퐴1,퐴2… 퐴푁 , de tal forma que cuando se le presenta una informacion de entrada realizara una autocorrelacion, respondiendo con uno de los datos almacenados, el más parecido a la entrada.
Página 90/Párrafo 2/Renglón 1, 2, 3,4, 6, 7, 9, 10/Reporte 1
Estos mecanismos dan lugar a dos tipos de redes: Las Heteroasociativas y las Autoasociativas.
La red Heteroasociativa podrían considerarse aquella que computa cierta función, que en l mayorías de los casos no podría expresarse analíticamente, entre un conjunto de entradas y un conjunto de salidas, correspondiendo a cada posible entrada y una determinada salida.
En una red Autoasociativa su principal misión es reconstruir una determinada informacion de entrada que se presenta incompleta o distorsionada (le asocia el dato almacenado más parecido).
Página 90/Párrafo 3/Renglón 1, 2, 3, 4, 5, 6, 7, 8, 9/Reporte 1
Red Heteroasociativa
Al asociar informaciones de entrada con diferentes informaciones de salida, precisan al menos de dos capas, una para captar y retener informacion de entrada y otra para mantener la salida con la información asociada.
Página 91/Párrafo 2/Renglón 2, 3, 4/Reporte 1

Página 13 de 19
Se pueden clasificar según el objetivo pretendido con su utilización, en cuanto a la conectividad existen redes con conexiones hacia adelante o feedforward (Perceptron, Backpropagation), con conexiones hacia atrás o feedforward/feedback (Art, Bam, etc.) y con conexiones laterales (Cabam)
El aprendizaje de este tipo de redes puede ser con supervisión (Perceptron, Backpropagation), o sin ella (Art, Bam, etc.).
Página 91/Párrafo 3, 4/Renglón 2, 3, 4, 6, 7, 8/Reporte 1
Red Autoasociativa
Asocia una informacion de entrada con el ejemplar más parecido de los almacenados conocidos por la red. Este tipo de res se puede implementar con una sola capa de neuronas; esta tiene la informacion inicial presentada a la entrada, y terminara representando la informacion autoasociada, si se quiere mantener la informacion de entrada se debe añadir capa o capas adicionales.
Página 91, 92/Párrafo 1, 1/Renglón 1, 2- 1,2 3, 4/Reporte 1
En cuanto a conectividad, existen conexiones laterales entre neuronas (Hopfield, etc.), en algunos casos conexiones autorrecurrentes (salida de una neurona como entrada de la misma).
El tipo de aprendizaje de estas redes es no supervisado (Hopfield, Additive Grossberg, etc.) aunque existe una con supervisado (Brain-State-In-A-Box).
Página 92/Párrafo 3/Renglón 1, 2, 3/Reporte 1
Suelen utilizarse en tareas de filtrado de informacion para la reconstrucción de datos, eliminando distorsiones o ruido, etc.

Página 14 de 19
Página 92/Párrafo 4/Renglón 1, 2/Reporte 1
Red Heteroasociativa Red Autoasociativa PERCEPTRON BRAIN-STATE-IN-A-BOX
ADALINE/MADALINE
HOPFIELD BACKPROPAGATION OPTIMAL LINEAR ASSOC MEMORY
LINEAR REWARD PENALTY ASSOC. REWARD PENALTY ADDITIVE GROSSBERG
ADAPTIVE HEURISTIC CRITIC
SHUNTING BROSSBERG BOLTZMANN MACHINE
CAUCHY MACHINE LEARNING MATRIX
TEMPORAL ASSOC. MEMORY LINEAR ASSOC. MEMORY
OPTIMAL LINEAR ASSOC. MEMORY DRIVE-REINFORCEMENT
FUZZY ASSOC. MEMORY COUNTERPROPAGATION
BIDIRECTIONAL ASSOC. MEMORY ADAPTIVE BIDIRECTIONAL ASSOC. MEMORY
COGNITRON/NEOCOGNITRON TOPOLOGY PRESERVING MAP
LEARNING VECTOR QUANTIZER

Página 15 de 19
ADAPTIVE RESONANCE THEORY
Página92, 93/ Tabla 1, 2/Reporte 1
Representación de la información de entrada y salida
Las redes neuronales pueden también clasificarse en diferentes maneras y función de la forma en que se representan las informaciones de entrada y las respuestas o datos de salida.
Normalmente estarán normalizadas y su valor absoluto será menor que la unidad, solo admiten valores discretos o binarios {0,1} a su entrada generando también unas respuestas en la salida de tipo binario.
Se ha realizado una versión continua de los mismo, como es el caso del modelo de HOPFIELD (DISCRETE HOPFIELD, CONTINOUS HOPFIELD) y el denominado ADOPTIVE RESONANCE THEORY. La información de entrada pueden ser valores continuos, aunque las salidas de la red sean discretas.
Caracteristicas de los modelos de redes neuronales mas conocidos
Topologias
Mecanismos de aprendizaje
Tipo de asociacion de la informacion de entrada y salida y la forma de representar
Señaes de entrada/salida
Autores

Página 16 de 19

Página 17 de 19

Página 18 de 19

Página 19 de 19

Cap 3 redes neuronales

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a Cap 3 redes neuronales

Similar a Cap 3 redes neuronales (20)

Más de Levy GT

Más de Levy GT (20)

Último

Último (20)

Cap 3 redes neuronales