Cap 3 redes neuronales

Reporte Bloque 3 REDES NEURONALES ARTIFICIALES FUNDAMENTOS, MODELOS Y APLICACIONES
Cachorros Reporte 1 19 de Agosto 2014
Página 1 de 19
UNIVERSIDAD AUTÓNOMA DEL ESTADO DE
MÉXICO
CENTRO UNIVERSITARIO UAEM ATLACOMULCO
LÍNEA DE APRENDIZAJE: REDES NEURONALES
INGENIERO: MARCO ANTONIO LOPEZ PAREDES
Reporte 1.
REDES NEURONALES ARTIFICIALES FUNDAMENTOS, MODELOS Y APLICACIONES
Capítulo 3 Características de las redes neuronales
ICO 17 5to Semestre
“Cachorros”
Rogelio Valdés Sánchez
Juan Carlos Tomas Reyes
Oscar Longinos Velázquez
Oliver Sánchez Cruz
Levi Guadarrama Tercero
Contenido

Topologías de las redes neuronales……………………………………….……pag1
Redes monocapa……………………………………………………………...........pag3
Redes multicapa………………..……………………………………………………pag3
Redes con conexiones hacia adelante (feedforward) ………………….........pag4
Redes con conexión hacia adelante y hacia atrás (feedforward/feedback)......
……………..………………………………………..………………………………….pag4
Mecanismo de aprendizaje………………..……………………………………… pag4
Redes con aprendizaje supervisado………………..…………………………....pag5
Aprendizaje por corrección de error………………..………………………..…. pag5
Aprendizaje por refuerzo………………..………………………………………… pag7
Aprendizaje Estocástico………………..………………………………………….pag8
Redes con aprendizaje no supervisado………………..………………………. pag8
Aprendizaje hebbiano………………..……………………………………………..pag9
Aprendizaje Competitivo y Cooperativo………………..…………………….. pag10
Tipo de asociación entre las informaciones de entrada y salida………… pag12
Red Heteroasociativa………………..…………………………………………… pag12
Red Autoasociativa………………..………………………………………………pag13
Representación de la información de entrada y salida………………..…....pag15
Caracteristicas de los modelos de redes neuronales mas conocidos…..pag15
Topologías de las redes neuronales
Página 2 de 19

La topología o arquitectura de las rede neuronales consiste en la organización y
disposición de la neuronas en la red formando copas o agrupaciones.
Párrafo 2/pag.69/renglón 1,2,3/reporte 1
Los parámetros fundamentales: el número de capaz, el número de neuronas por
capa, el grado de conectividad y el tipo de conexiones entre neuronas.
Párrafo 2/pag.69/renglón 4/reporte 1
Una clasificación de las redes en términos topológicos, suele distinguir entre las
redes con una sola capa o nivel de neuronas y las redes múltiples capas.
Redes monocapa
En la redes monocapa, la red HOPFIELD, la red BRAIN-STATE-IN-A-BOX
establece conexiones laterales entre las neuronas que pertenecen a la única capa
que constituye la capa, pueden existir capaz conexiones autorrecurrentes.
Crossbar suele utilizarse como etapa de transición cuando se pretende implementar
físicamente una red monocapa.
Las redes monocapa se utilizan típicamente en tareas relacionadas con lo que se
conoce como auto asociación.
Redes multicapa
Son aquellas que disponen de conjuntos de neuronas, una forma para distinguir la
capa a la que pertenece una neurona, consistirá en fijarse en el origen de las
señales que reciben a la entrada y el destino de la señal de salida.
Un gran número de estas redes también existen la posibilidad de conectar las
salidas de las neuronas de capas posteriores a las entradas de las capas anteriores,
a estas conexiones se les denomina conexiones hacia atrás o feedback.
Párrafo 2/pag.71/renglón 1,2/reporte 1
Las redes con conexiones hacia adelante o redes feedforward y las redes que
disponen de conexiones tanto hacia adelante como hacia atrás o redes
feedback/feedforward.
Redes con conexiones hacia adelante (feedforward)
Página 3 de 19

En las redes feedforward todas las señales neuronales se propagan hacia adelante
a través de las capas de la red, por ende es mas factible para obtener resultados.
En el caso de los modelos de red propuestos por Kohonen denominados
LEARNING VECTOR QUANTIZER (LVQ) y TOPOLOGY PRESERVING MAP
(TPM), en las que existen unas conexiones implícitas muy particulares entre las
neuronas de la capa de salida.
Las redes feedforward más conocidas son: PERCEPTRON, ADALINE, MADALINE,
LINEAR ADAPTIVE MEMORY (LAM), DRIVE-REINFORCE-MENT,
BACKPROPAGATION. Son específicamente útiles en las aplicaciones de
reconocimiento o clasificación de patrones.
Redes con conexión hacia adelante y hacia atrás (feedforward/feedback)
En este tipo de redes circulan información tanto hacia delante como hacia atrás
durante el funcionamiento de la red esto es posible feedforward y conexiones
feedback entre las neuronas las redes cagnitron y neocognitron suelen ser bicapa
los valores de los pesos de estos tiposde conexiones no tienen por que coincidir
siendo diferentes en la mayor parte de los casos este tipo de estructura es
principalmente para realizar una asociación de información o patrón de entrada con
otra información este tipo de funcionamiento basado en lo que se conoce como
resonancia de tal forma que la primera y segunda capa interactúen entre si hasta
que alcance un estado estable
Párrafo 2/pag.72/renglón 5,7,12,13/reporte 1
Mecanismo de aprendizaje
El aprendizaje es el proceso por el cual una re modifica sus pesos en respuesta a
una información de entrada.
Los modelos de redes neuronales artificiales le creación de una nueva conexión
implica que el paso de la misma pasa tener un valor distinto de cero. En el proceso
de las conexiones de la red sufren modificación por lo tanto estos procesos se han
terminado.
El conocer cómo se modifica los valores d los pesos cambia el valor asignado a las
conexiones cuando se pretende que la red aprende una nueva información, La regla
de aprendizaje las que responde a lo que habitualmente se conoce como
aprendizaje supervisado y correspondiente a un aprendizaje no supervisado
Página 4 de 19

RNA CON APRENDIZAJE SUPERVISADO
RNA CON APRENDIZAJE NO SUPERVISADO
Párrafo 1,2,3,4/pag.75/renglón 1,2 7,8,9,10,12,15,20/reporte 1
Redes con aprendizaje supervisado
ESTE SE CARACTERIZA por el proceso de aprendizaje se realiza mediante un
entrenamiento controlado por un agente externo que determina la respuesta que
debería generar la red a partir de una entrada determinada el supervisor comprueba
la salida de la red y en el caso de que coincida se producirá una modificación en los
pesos de las conexiones Aprendizaje por corrección de error Aprendizaje por
refuerzo Aprendizaje por estocástico
Párrafo 1,/pag.76/renglón 1,2,3,7/reporte
Aprendizaje por corrección de error
Presenta al sistema un conjunto de pares de datos, representado la entrada y la
salida deseada para dicha entrada. Ajustando los pesos de las conexiones de la red
para después hacer la relación en función de la diferencia entre los todos los valores
deseados y obtenidos en la salida, como se muestra: Fig. 3.1
Párrafo 1,/pag.77/renglón 1,2,3/reporte 1
Es un aprendizaje ON Line
Página 5 de 19

Aquí se muestra un esquema mas claro:
 :factor de aprendizaje ( 0 <  < 1 )
Algoritmos que utilizan este tipo de aprendizaje son:
Página 6 de 19
 Regla de aprendizaje del perceptron: utilizada en la red
PERCEPTRON
 Regla delta o del mínimo error cuadrado: utilizado en las redes
ADALINE y MADALINE.
 Regla delta generalizada: utilizada en redes multicapa

Aprendizaje por refuerzo
Es un aprendizaje ON Line. Donde hay una relación de entrada-salida a través de
un proceso de éxito o fracaso (éxito=+1 o fracaso=-1), el cual produce la señal de
refuerzo que ayuda al sistema a su buen funcionamiento en todos los aspectos.
Párrafo 3,/pag.80/renglón 1,2,3 /reporte 1
Página 7 de 19

Algunos personajes han formulado el aprendizaje por Refuerzo, lo han hecho como
una estrategia de aprendizaje en donde no se necesita un conjunto de ejemplos
evaluados por un profesor. Estos Personajes fueron Barto, Sutton y Anderson
El sistema descrito por Barto explora el espacio entrada-salida y usa una señal de
refuerzo (feeback) sobre las consecuencias de la señal de control (salida de la red)
sobre el entorno.
Entonces se puede decir: Los pesos se ajustan en base a la señal de refuerzo
basándose en un mecanismo de probabilidades.
Párrafo 3,/pag.80/renglón 3 y 4 /reporte 1
Aprendizaje Estocástico
A partir del objetivo deseado y de distribuciones de probabilidad vienen los cambios
en los valores de los pesos y de inmediato se evalúa. De acuerdo algunas
indagaciones una red que utiliza este tipo de aprendizaje es la red Boltzman
Machine, ideada por Hinton, Ackley y Sejnowski en 1984 y la red Cauchy Machine
desarrollada por Szu en 1986.
Proceso de la red que utiliza este tipo de Aprendizaje Estocástico:
 Se realiza un cambio aleatorio en los Pesos.
 Se determina la nueva energía de la red
 Si la energía no decrece: se aceptaría el cambio en función de una
determinada y preestablecida distribución de probabilidades.
Es un aprendizaje OFF Line
Redes con aprendizaje no supervisado
Conocido como auto supervisado es decir, que no depende de lo externo para
ajustar los pesos entre la conexión de neuronas.
Su objetivo de este aprendizaje es encontrar grupos de información, reducción de
la dimensionalidad, construcción de mapas topográficos, encontrar causas ocultas
y modelar la densidad de datos.
Página 8 de 19

Algunos usos de este aprendizaje son:
• Compresión de Datos.
• Clasificación.
• Hacer otras tares de aprendizaje más fácil.
• Una teoría del aprendizaje humano y la percepción.
Aprendizaje hebbiano
Este modelo memorístico fue postulado en 1949 por Donald Hebb. Afirmó que la
huella de un recuerdo fruto de una experiencia ocurre y se mantiene por medio de
modificaciones celulares que primero trazan y luego consolidan la estructura
espacial de las redes neuronales.
Entonces es el ajuste de los pesos de las conexiones de acuerdo con correlación.
Se entiende por correlación es este caso como la multiplicación de valores binarios
+1 y -1, de los valores de activación, ósea; salidas de las dos neuronas conectadas.
Topología de Red:
Si las dos unidades son activas (positivas), se produce un reforzamiento de la
conexión, pero si una es activa y la otra pasiva (negativa), se produce un
debilitamiento de la conexión.
Página 9 de 19
i
j
W
ji

La modificación de los pesos se realiza en función de los estados (salidas) de las
neuronas obtenidas tras la presentación de cierto estímulo (información de entrada
a la red), sin tener en cuenta si se deseaba obtener o no esos estados de activación.
Hebb sugirió que la fuerza de la sinapsis en el cerebro cambia proporcionalmente
a la correlación entre el disparo de las neuronas pre y post sinápticas.
La regla de aprendizaje de Hebb es NO Supervisada y se utiliza en redes
neuronales feedforward debido a que solo se emplea el producto de las entradas y
las salidas actuales para la modificación de los pesos.
Ninguna salida deseada se proporciona para generar la señal de aprendizaje que
actualizará los pesos, Porque requiere de la inicialización de los pesos en valores
pequeños y aleatorios cercanos a cero antes de realizar el aprendizaje.
Para finalizar con este subtema existen varias aplicaciones de este tipo de
aprendizaje; en el diseño de circuitos integrados VLSI. Por su fácil implementación,
reconocimiento de voz, reconocimiento de imágenes, control de motores, y
reconocimiento de patrones.
Así como la resolución de problemas de optimización, ecuaciones, manipulación de
grafos procesamiento de señales (diseño de convertidores analógico-digitales) y
procesamiento de imágenes.
Aprendizaje Competitivo y Cooperativo
Suele decirse que las neuronas compiten (y cooperan) unas con otras con el fin de
llevar a cabo una tarea dada. Con este tipo de aprendizaje, se pretende que cuando
se presente a la red cierta información de entrada, solo una neurona de la salida de
la red.
El objetivo de este aprendizaje es categorizar (clusterizar) datos que se introducen
en la red; las informaciones similares son clasificadas formando parte de la misma
categoría, y por tanto deben activar la misma neurona de salida.
Página 87/Párrafo 1/Renglón 1, 2, 3, 4/Reporte 1
Una forma de aplicar este tipo de aprendizaje fue propuesta por Rumelhart Zisper
en 1985 [Rumelhart 85], utilizaban redes multicapa dividiendo cada capa en grupos
de neuronas, estas disponían de conexiones inhibitorias con otras neuronas de su
mismo grupo, y conexiones excitadoras con las neuronas de la siguiente capa.
Página 87/Párrafo 2/Renglón 1, 2, 3, 4, 5 /Reporte 1
En este tipo de red, cada neurona tiene asignado un peso total, suma de todos los,
pesos de las conexiones que tiene a su entrada. El aprendizaje afecta solo a las
neuronas ganadoras (activas), redistribuyendo este peso total entre sus conexiones,
sustrayendo una porción a los pesos de todas las conexiones que llegan a la
Página 10 de 19

neurona vencedora y repartiendo esta cantidad por igual entre todas las conexiones
procedentes de unidades activas.
Página 87/Párrafo 3/Renglón 1, 2, 3, 4, 5, 6/Reporte 1
Un ejemplo de este tipo fue desarrollado por Kohonen [Kohonen 88b], conocido
como LVQ aplicado en redes feedforward de dos capas, y su uso depende de cómo
de precise obtener una o varias unidades vencedoras en la capa de salida.
Página 11 de 19
En otro caso en el que se emplea el aprendizaje competitivo es la conocida Teoría
de la resonancia adaptativa desarrollado por Carpenter y Grossberg en 1986
[Carpenter 86] utilizado en la red ART en sus dos variantes (ART1 y ART2) de dos
capas que maneja información analógica. Esta red realiza un prototipo de la
informaciones que recibe a la entrega, generando como salida un ejemplar o
prototipo que representa a todas las informaciones que podrían considerarse
pertenecientes a la misma clase de categoría.
Página 88/Párrafo 4/Renglón 3, 4, 5, 6, 7, 8, 9, 10/Reporte 1
Clasificación de Redes Neuronales con aprendizaje supervisado mas
importantes
Tipos de aprendizaje
no supervisado
Modelo de Red
Aprendizaje
Hebbiano
HIOPFIELD
Off Line
LEARNING MATRIX
TEMPORAL ASSOC. MEMORY
LINEAR ASSOC. MEMORY (LAM)
OPTIMAL LAM
DRIVE-REINFORCEMENT
FUZZY ASSOC. MEMORY
ADDITIVE GROSSBERG
On Line
SHUNTING GROSSBERG
BIDIRECTIONAL ASSOC. MEMORY
(BAM)
Aprendizaje
Competitivo
/Cooperativo
ADAPTIVE BAM
LEARNING VECTOR QUANTIZER
COGNITRON/NEOCOGNITRON Off Line
TOPOLOGY PRESERVING MAP
ADAPTIVE RESONANCE THEORY On Line
Página 89/ Tabla 1/ Renglón / Reporte 1

Tipo de asociación entre las informaciones de entrada y salida
Las redes neuronales son sistemas que almacenan cierta información aprendida;
esa se registra de forma distribuida en los pesos asociados a las conexiones entre
neuronas. Cuando se aplica un estímulo (Dato de entrada) la red responde con una
salida asociativa a dicha información de entrada, a esto se le llama memoria
asociativa.
Página 90/Párrafo 1/Renglón 1, 2, 3, 6, 8/Reporte 1
Existen dos formas primarias de realizar esta asociación entre entrada/salida que
se corresponden con la naturaleza de la información almacenada en la red.
La primera se llama Heteroasociación que se refiere a que la red aprende parejas
de datos [(퐴1, 퐵1), (퐴2, 퐵2) … (퐴푁1, 퐵푁2 )], de tal forma que cuando se presente cierta
información de entrada Ai, deberá responder generando la correspondiente salida
asociada Bi.
La segunda se conoce como Autoasociación, donde la red aprende ciertas
formaciones 퐴1, 퐴2 … 퐴푁 , de tal forma que cuando se le presenta una informacion
de entrada realizara una autocorrelacion, respondiendo con uno de los datos
almacenados, el más parecido a la entrada.
Página 90/Párrafo 2/Renglón 1, 2, 3,4, 6, 7, 9, 10/Reporte 1
Estos mecanismos dan lugar a dos tipos de redes: Las Heteroasociativas y las
Autoasociativas.
La red Heteroasociativa podrían considerarse aquella que computa cierta función,
que en l mayorías de los casos no podría expresarse analíticamente, entre un
conjunto de entradas y un conjunto de salidas, correspondiendo a cada posible
entrada y una determinada salida.
En una red Autoasociativa su principal misión es reconstruir una determinada
informacion de entrada que se presenta incompleta o distorsionada (le asocia el
dato almacenado más parecido).
Página 90/Párrafo 3/Renglón 1, 2, 3, 4, 5, 6, 7, 8, 9/Reporte 1
Red Heteroasociativa
Al asociar informaciones de entrada con diferentes informaciones de salida,
precisan al menos de dos capas, una para captar y retener informacion de entrada
y otra para mantener la salida con la información asociada.
Página 91/Párrafo 2/Renglón 2, 3, 4/Reporte 1
Página 12 de 19

Se pueden clasificar según el objetivo pretendido con su utilización, en cuanto a la
conectividad existen redes con conexiones hacia adelante o feedforward
(Perceptron, Backpropagation), con conexiones hacia atrás o feedforward/feedback
(Art, Bam, etc.) y con conexiones laterales (Cabam)
El aprendizaje de este tipo de redes puede ser con supervisión (Perceptron,
Backpropagation), o sin ella (Art, Bam, etc.).
Página 91/Párrafo 3, 4/Renglón 2, 3, 4, 6, 7, 8/Reporte 1
Red Autoasociativa
Asocia una informacion de entrada con el ejemplar más parecido de los
almacenados conocidos por la red. Este tipo de res se puede implementar con una
sola capa de neuronas; esta tiene la informacion inicial presentada a la entrada, y
terminara representando la informacion autoasociada, si se quiere mantener la
informacion de entrada se debe añadir capa o capas adicionales.
Página 91, 92/Párrafo 1, 1/Renglón 1, 2- 1,2 3, 4/Reporte 1
En cuanto a conectividad, existen conexiones laterales entre neuronas (Hopfield,
etc.), en algunos casos conexiones autorrecurrentes (salida de una neurona como
entrada de la misma).
El tipo de aprendizaje de estas redes es no supervisado (Hopfield, Additive
Grossberg, etc.) aunque existe una con supervisado (Brain-State-In-A-Box).
Página 92/Párrafo 3/Renglón 1, 2, 3/Reporte 1
Suelen utilizarse en tareas de filtrado de informacion para la reconstrucción de
datos, eliminando distorsiones o ruido, etc.
Página 13 de 19

Página 92/Párrafo 4/Renglón 1, 2/Reporte 1
Red Heteroasociativa Red Autoasociativa
Página 14 de 19
PERCEPTRON BRAIN-STATE-IN-A-BOX
ADALINE/MADALINE HOPFIELD
BACKPROPAGATION OPTIMAL LINEAR ASSOC MEMORY
LINEAR REWARD PENALTY
ASSOC. REWARD PENALTY ADDITIVE GROSSBERG
ADAPTIVE HEURISTIC CRITIC SHUNTING BROSSBERG
BOLTZMANN MACHINE
CAUCHY MACHINE
LEARNING MATRIX
TEMPORAL ASSOC. MEMORY
LINEAR ASSOC. MEMORY
OPTIMAL LINEAR ASSOC. MEMORY
DRIVE-REINFORCEMENT
FUZZY ASSOC. MEMORY
COUNTERPROPAGATION
BIDIRECTIONAL ASSOC. MEMORY
ADAPTIVE BIDIRECTIONAL ASSOC.
MEMORY
COGNITRON/NEOCOGNITRON
TOPOLOGY PRESERVING MAP
LEARNING VECTOR QUANTIZER

ADAPTIVE RESONANCE THEORY
Página 15 de 19
Página92, 93/ Tabla 1, 2/Reporte 1
Representación de la información de entrada y salida
Las redes neuronales pueden también clasificarse en diferentes maneras y función
de la forma en que se representan las informaciones de entrada y las respuestas o
datos de salida.
Normalmente estarán normalizadas y su valor absoluto será menor que la unidad,
solo admiten valores discretos o binarios {0,1} a su entrada generando también unas
respuestas en la salida de tipo binario.
Se ha realizado una versión continua de los mismo, como es el caso del modelo de
HOPFIELD (DISCRETE HOPFIELD, CONTINOUS HOPFIELD) y el denominado
ADOPTIVE RESONANCE THEORY. La información de entrada pueden ser valores
continuos, aunque las salidas de la red sean discretas.
Caracteristicas de los modelos de redes neuronales mas conocidos
Topologias
Mecanismos de aprendizaje
Tipo de asociacion de la informacion de entrada y salida y la forma de representar
Señaes de entrada/salida
Autores

Página 16 de 19

Página 17 de 19

Página 18 de 19

Página 19 de 19

Cap 3 redes neuronales

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Destacado

Destacado (20)

Similar a Cap 3 redes neuronales

Similar a Cap 3 redes neuronales (20)

Más de Levy GT

Más de Levy GT (20)

Último

Último (20)

Cap 3 redes neuronales