(Med Clin (Barc) 2004;122(Supl 1):59-67) Una RN es un algoritmo de cálculo que se basa en una analogía del sistema nervioso. La idea general consiste en emular la capacidad de aprendizaje del sistema nervioso, de manera que la RN aprenda a identificar un patrón de asociación entre los valores de un conjunto de variables predictoras (entradas) y los estados que se consideran dependientes de dichos valores (salidas). Desde un punto de vista técnico, la RN consiste en un grupo de unidades de proceso (nodos) que se asemejan a las neuronas al estar interconectadas por medio de un entramado de relaciones (pesos) análogas al concepto de conexiones sinápticas en el sistema nervioso. A partir de los nodos de entrada, la señal progresa a través de la red hasta proporcionar una respuesta en forma de nivel de activación de los nodos de salida.

1. UNIDAD I
REDES DE
APRENDIZAJE NO
SUPERVISADO
INTRODUCCIÓN

2. Aprendizaje en
Redes Neuronales
El aprendizaje es esencial para
la mayoría de las arquitecturas
de redes neuronales; por lo que
la elección de un algoritmo de
aprendizaje es un punto central
en el desarrollo de una red.

3. Aprendizaje
El aprendizaje implica que una
unidad de procesamiento es
capaz
de
cambiar
su
comportamiento entrada/salida
como resultado de los cambios
en el medio.

4. Aprendizaje
El aprendizaje puede ser:
Supervisado, se provee una
respuesta correcta durante su
entrenamiento.
No supervisado, el objetivo a
alcanzar no esta presente.

5. Reglas de Aprendizaje
Supervisado
Regla del Perceptron.
Aprendizaje Supervisado
Hebbiano.
Aprendizaje de Widrow-Hoff.
Algoritmo de Retropropagación.

6. Aprendizaje Auto supervisado
Las redes con aprendizaje no supervisado
(auto supervisado) no requieren influencia
externa para ajustar los pesos de las
conexiones entre sus neuronas.
La red no recibe ninguna información por
parte del entorno que le indique si la
salida generada en respuesta a una
determinada entrada es o no correcta; por
ello suele decirse que estas redes son
capaces de auto organizarse

7. Redes con aprendizaje No
supervisado
En este tipo de redes la salida
representa el grado de familiaridad
o similitud entre la información que
se le está presentando a la entrada
y las informaciones que se le han
mostrado hasta entonces.

8. Aprendizaje No
Supervisado
Está constituido por un conjunto
de reglas que dan a la red la
habilidad
de
aprender
asociaciones
entre
los
patrones que ocurren en
conjunto, (frecuentemente).

9. Aprendizaje no
Supervisado
Una vez que los patrones se
han
aprendido
como
asociación le permite a las
redes realizar tareas útiles de
reconocimiento de patrones y la
habilidad de recordar.

10. 1.1 REGLAS DE
APRENDIZAJE NO
SUPERVISADO
Regla de aprendizaje Hebbiana.
Regla de aprendizaje competitivo.
Regla de aprendizaje Hebbiana diferencial.
Regla de aprendizaje competitiva diferencial.

11. Introducción a
aprendizaje asociativo.
INTRODUCCIÓN

12. ¿Qué es una Asociación?
Es cualquier relación entre la
entrada de un sistema y su
salida de tal forma que cuando
el patrón A se presenta al
sistema éste responde con un
patrón B .

13. Estimulo / Respuesta
Cuando dos patrones son
relacionados
por
una
asociación ,
al patrón de
entrada se le conoce como
estímulo y al patrón de salida
se le refiere como respuesta.

14. Investigadores
Aprendizaje Asociativo
Teuvo Kohonen (red asociativa lineal)
James Anderson (red asociativa lineal)
Stephen Grossberg
(red asociativa no lineal continua)
D.O Hebb

15. Aprendizaje Asociativo
Iván Pavlov
Experimento
Condicionamiento
– comida
– Salivación a la comida.
– campana
– Salivación al oír la
campana

16. Aprendizaje Asociativo
Condicionamiento
Positivo
– reforzamiento
Condicionamiento
Negativo
– Nocivo

17. 1.1.1 REGLA DE
APRENDIZAJE
HEBBIANO NO
SUPERVISADO
INTRODUCCIÓN

18. Aprendizaje Hebbiano
Donald O. Hebb
(1904-1985).
Padre de
Psicobiologia
Cognoscitiva.
The Organization of
Behaviour (1942).
En 1949, su
postulado.

19. Postulado de Hebb
Cuando un axón de una celda A esta
suficientemente cerca como para conseguir
excitar una celda B y repetida o
persistentemente
toma parte en su
activación, algún proceso de crecimiento
tiene lugar en una o ambas celdas, de tal
forma que la eficiencia de A, cuando la celda
a activar es B, aumenta.

20. Aprendizaje Hebbiano
El
aprendizaje
Hebbiano
consiste básicamente en el
ajuste de los pesos de las
conexiones, de acuerdo con la
correlación de los valores de
activación (salidas) de las dos
neuronas conectadas.

21. Los Pensamientos 1
Los pensamientos son disparados
a menudo por estimulación
externa.
El mismo pensamiento es
estimulado por un infinito número
de estímulos.

22. Los Pensamientos 2
Los pensamientos permanecen
aun
después
de
que
la
estimulación se ha ido.
Los pensamientos no siempre son
estimulados por agentes externos.

23. Células agrupadas:
Circuitos Reverberantes
Un concepto no se almacena en
una sola célula; este se almacena
en un conjunto de celdas.
Una celda no puede estar activa
durante mucho, pero un conjunto
de ellas sí.
Al circuito reverberante se le llama
células agrupadas (CA).

24. Activación
Los pensamientos
son activados por
estimulación externa
si existe suficiente
estímulo se piensa
en un concepto.
El pensamiento es
activado por un
número infinito de
estímulos.

25. Estímulo

26. Respuesta
Snoopy

27. Curva de Snoopy
Los pensamientos
permanecen
aun
cuando el estímulo
haya desaparecido.
La activación
remanente es baja.
La activación decae
gradualmente.

28. Algoritmo Hebbiano
Este algoritmo de tipo no supervisado
pretende medir la familiaridad o extraer
las características de los datos de
entrada.
Este tipo de aprendizaje se basa en el
siguiente postulado formulado por
Donald O. Hebb en 1949:

29. Postulado de Hebb
“Cuando un axón de una celda A esta
suficientemente
cerca como para
conseguir excitar una celda B y
repetida o persistentemente toma parte
en su activación, algún proceso de
crecimiento o cambio metabólico tiene
lugar en una o ambas celdas, de tal
forma que la eficiencia de A, cuando
la celda a activar es B, aumenta”.

30. Postulado de Hebb
Cuando un
peso
contribuye en
la activación
de una
neurona, el
peso se
incrementa. Y
si contribuye a
la inhibición
éste se
decrementa.

31. Celda y Eficiencia
Por celda , Hebb entiende un
conjunto de neuronas fuertemente
conectadas a través de una
estructura compleja.
Y por eficiencia, la intensidad o
la magnitud de la conexión; es
decir el peso.

32. Aprendizaje Hebbiano
El
aprendizaje
Hebbiano
consiste
básicamente en el ajuste de los pesos de las
conexiones, de acuerdo con la correlación
de los valores de activación (salidas) de las
dos neuronas conectadas:
∆ i . j =η
w
yi x j
η=learning
rate
yi =salida de la neurona
i
x j =salida de la neurona
j

33. Topología de la Red
i
yi
j
Wji
xj
Si las dos unidades son activas (positivas),
se produce un reforzamiento de la conexión.

34. Por el contrario, cuando una es activa
y la otra pasiva (negativa), se produce
un debilitamiento de la conexión.
La modificación de los pesos se realiza en
función de los estados (salidas) de las
neuronas obtenidas tras la presentación de
cierto estímulo (información de entrada a la
red), sin tener en cuenta si se deseaba
obtener o no esos estados de activación.

35. NOTA 1:
Hebb sugirió que la fuerza de la sinapsis en
el cerebro cambia proporcionalmente a la
correlación entre el disparo de las neuronas
pre y post sinápticas.
Muchas reglas de aprendizaje de RNA
reflejan con frecuencia el principio de la regla
Hebbiana.

36. NOTA 2:
La regla de aprendizaje de Hebb es NO
Supervisada y se utiliza en redes
neuronales feedforward debido a que
solo se emplea el producto de las
entradas y las salidas actuales para la
modificación de los pesos.
Ninguna salida deseada se proporciona
para generar la señal de aprendizaje
que actualizará los pesos.

37. NOTA 3:
La regla de aprendizaje de Hebb
requiere de la inicialización de los
pesos en valores pequeños y
aleatorios cercanos a cero antes
de realizar el aprendizaje.

38. APLICACIONES
En el diseño de circuitos integrados
VLSI. Por su fácil implementación.
En el reconocimiento de voz.
En el reconocimiento de imágenes.
En el control de motores.

39. APLICACIONES
Resolución de problemas de
optimización.
Resolución de ecuaciones.
Manipulación de grafos.
Procesamiento de señales (diseño de
convertidores analógico-digitales).
Procesamiento de imágenes.
Reconocimiento de patrones.

40. Wake up!

41. Introducción a aprendizaje
asociativo.
1.1.1 Regla de aprendizaje
Hebbiano no supervisada.
1.1.2 Regla Instar.