Este documento presenta un modelo de red neuronal modular para simular la memoria humana. El modelo consiste en una capa de neuronas conectadas estocásticamente que pueden almacenar patrones de forma asociativa. Las simulaciones numéricas muestran que la red puede almacenar patrones incluso con ruido y que su capacidad depende del olvido pasivo. También se puede reproducir la degradación de la memoria como en el Alzheimer eliminando conexiones neuronales.

1. Redes neuronales modulares:
topología, características y aplicación.
UNED. 2010-2012
Máster en física de sistemas complejos.
Trabajo fin de Máster.
-----------------------------------
Autor: Héctor Corte León.
Tutora: Elka Korutcheva.

2. Indice.

Objetivos.

Modelo.
− Propiedades del modelo.

Distancia Hamming y solapamiento.

Valor optimo de β.

Algoritmo.

Simulaciones numéricas.
− Verificación de correcto funcionamiento y ruido admitido.
− Olvido pasivo.
− Capacidad máxima y estabilización.
− Muerte neuronal.

Conclusiones.

Perspectivas.

3. Objetivos

Adquirir los conocimientos necesarios para
simular y modelar las distintas partes de un
modelo computacional de memoria humana.

Comprobar de forma numérica las propiedades
del modelo descritas en distintos artículos.

Estudiar la posibilidad de utilizar dicho modelo
para estudiar enfermedades.

4. Modelo.

Un modelo de red neuronal con una capa de
neuronas conectadas entre sí de forma no
simétrica y sin autofeedback.

Neuronas con activación estocastica
dependiente de la temperatura T=1/β.

Regla de aprendizaje basada en la historia de
cada neurona.

Constante de olvido pasivo.

5. Modelo.

Se fija una señal externa sobre las neuronas.

Evolución de la red:
− Todas las neuronas a la vez suman las
señales que les llegan multiplicadas por
el peso correspondiente.
− De forma aleatoria determinan su nuevo
estado a partir de la señal que les llega y
de la temperatura.

Evolución de los pesos:
− Cada cierto número de iteraciones se
actualizan los pesos.
− Cada peso se actualiza tomando el valor
que tenía anteriormente y aumentándolo
si las neuronas que une tienden a
activarse a la vez o disminuyéndolo en
caso contrario.

6. Propiedades del modelo.

Puede funcionar como memoria asociativa.

Capaz de recibir entradas con cierto nivel de
ruido y aun así identificarlas.

Similar en funcionamiento a ciertas zonas del
cerebro.

Posibilidad de usarlo para resolver problemas de
optimización.

7. Distancia Hamming y Solapamiento.

Distancia Hamming [0,1]
− 0 para vectores idénticos
− 1 para vectores opuestos.
− 0,5 vectores aleatorios entre si.

Solapamiento [-1,1]
− 1 para vectores idénticos.
− -1 para vectores opuestos.
− 0 vectores que se complementan.

Eficiencia [0,1]
− 1 para vectores idénticos
− 0 para vectores opuestos.
− 0,5 vectores aleatorios entre si.
H (A , B)=
1
2
(1−
10−3
13
)=0,23
m( A , B)=1−2H( A.B)=0,54
ε(A , B)=1−H ( A , B)=0,77

8. Valor óptimo de β.

El valor de β determina el ruido
que tienen las neuronas
estocásticas

Un valor alto implica mucho ruido
y por tanto la señal aplicada a las
neuronas predomina frente a la
evolución natural de las mismas
hacia un atractor del sistema.

Para valores demasiado bajos de
β la red evoluciona libremente
hacía uno de los tractores del
sistema.

9. Algoritmo.
Para trabajar con la red combinamos estos dos procesos de
la forma adecuada a las necesidades de la simulación.
Almacenamiento: Se expone una señal a la entrada de la
red durante un cierto número de iteraciones. El valor de β se toma
lo suficientemente grande para que la red tienda hacia el estado que
imponemos a la entrada y vamos bajando lentamente hasta que la
red alcanza un estado estacionario. Si este estado coincide con el
que deseamos almacenar entonces realizamos un entrenamiento
variando los pesos de la red de acuerdo a la ley establecida.
Recuperación: Se expone una señal a la entrada de la red
durante un cierto número de iteraciones. El valor de β se toma lo
suficientemente grande para que la red tienda hacia el estado que
imponemos a la entrada y vamos bajando lentamente hasta que la
red alcanza un estado estacionario.

10. Simulaciones numéricas.

Comprobación de correcto funcionamiento.

Capacidad en función del olvido pasivo, λ.

Capacidad máxima y estabilización con olvido
pasivo.

Mecanismos de degradación.

11. Verificación de correcto
funcionamiento y ruido admitido.
Ruido: Se dice que una señal tiene ruido respecto a un patrón
cuando se compara con este y la distancia Hamming no es cero. Es
decir, cuando se puede representar como el patrón con algunas
componentes cambiadas de forma aleatoria. El nivel de ruido es la
distancia Hamming al patrón.
En la siguiente simulación:
Fijamos un valor de olvido pasivo, λ.
Enseñamos 5 patrones a la red.
Utilizando señales cada vez con más ruido evaluamos la
eficiencia de la red para recuperar el patrón deseado.

12. Verificación de correcto
funcionamiento y ruido admitido.
λ=0,7 λ=1 λ=1,2
0 0 . 0 5 0 . 1 0 . 1 5 0 . 2 0 . 2 5 0 . 3 0 . 3 5 0 . 4 0 . 4 5
0 . 5
0 . 5 5
0 . 6
0 . 6 5
0 . 7
0 . 7 5
0 . 8
0 . 8 5
0 . 9
0 . 9 5
1
D is t a n c e t o p a t t e r n
Eficiency
P a t ró n 1
P a t ró n 2
P a t ró n 3
P a t ró n 4
P a t ró n 5
0 0 . 0 5 0 . 1 0 . 1 5 0 . 2 0 . 2 5 0 . 3 0 . 3 5 0 . 4 0 . 4 5
0 . 5
0 . 5 5
0 . 6
0 . 6 5
0 . 7
0 . 7 5
0 . 8
0 . 8 5
0 . 9
0 . 9 5
1
D is t a n c e t o p a t t e r n
Eficiency
P a t ró n 1
P a t ró n 2
P a t ró n 3
P a t ró n 4
P a t ró n 5
0 0 . 0 5 0 . 1 0 . 1 5 0 . 2 0 . 2 5 0 . 3 0 . 3 5 0 . 4 0 . 4 5
0 . 5
0 . 5 5
0 . 6
0 . 6 5
0 . 7
0 . 7 5
0 . 8
0 . 8 5
0 . 9
0 . 9 5
1
D is t a n c e t o p a t t e rn
Eficiency
P a t ró n 1
P a t ró n 2
P a t ró n 3
P a t ró n 4
P a t ró n 5

13. Olvido pasivo.
Olvido pasivo: Cada vez que tiene lugar un entrenamiento se
actualizan los pesos entre neuronas. El olvido pasivo consiste en
multiplicar los pesos viejos por un factor menor que la unidad.
En la siguiente simulación repetimos los siguientes pasos:
Fijamos una tasa de olvido pasivo, λ.
Repetimos:
Enseñamos un nuevo patrón a la red.
Intentamos recuperar todos los patrones almacenados
previamente y vemos la eficiencia en función del nivel de ruido
a la entrada.

14. Olvido pasivo.
A medida que aumentamos el número de patrones
memorizados por la red disminuye el ruido que es capaz
de soportar.
5
1 0
1 5
2 0
2 5
3 0
3 5
4 0
4 5
5 0
0
0 . 0 5
0 . 1
0 . 1 5
0 . 2
0 . 2 5
0 . 3
0 . 3 5
0 . 4
0 . 4 5
0 . 5
0
0 . 2
0 . 4
0 . 6
0 . 8
1
D is t a n c e t o p a t t e r n
N u m b e r o f p a t e rn s
Eficiency

15. Olvido pasivo.
5
1 0
1 5
2 0
2 5
3 0
3 5
4 0
4 5
5 0 0
0 . 0 5
0 . 1
0 . 1 5
0 . 2
0 . 2 5
0 . 3
0 . 3 5
0 . 4
0 . 4 5
0 . 5
0
0 . 2
0 . 4
0 . 6
0 . 8
1
D is t a n c e t o p a t t e r nN u m b e r o f p a t e r n s
Eficiency

16. Olvido pasivo.
5
1 0
1 5
2 0
2 5
3 0
3 5
4 0
4 5
5 0 0
0 . 1
0 . 2
0 . 3
0 . 4
0 . 5
0
0 . 2
0 . 4
0 . 6
0 . 8
1
D is t a n c e t o p a t t e rn
N u m b e r o f p a t e r n s
Eficiency

17. Capacidad máxima y estabilización.
Capacidad de una red: Patrones almacenados en la red entre el
número de neuronas de la red.
En la siguiente simulación repetimos los siguientes pasos:
Enseñamos un patrón nuevo a la red.
Evaluamos la eficiencia de la red para recuperar todos los
patrones almacenados y consideramos que recuerda aquellos
que cuya eficiencia es 1 cuando la señal de entrada tiene un
ruido de 0,2.

18. Capacidad máxima y estabilización.
0 2 0 4 0 6 0 8 0 1 0 0 1 2 0 1 4 0 1 6 0
0
0 . 0 2
0 . 0 4
0 . 0 6
0 . 0 8
0 . 1
0 . 1 2
0 . 1 4
0 . 1 6
N ú m e r o d e p a t r o n e s d is t in t o s e n t r e n a d o s
Capacidad
N = 1 0 0 λ = 0 . 9 9
N = 1 0 0 λ = 1 . 0 1
N = 1 0 0 λ = 1
N = 4 0 0 λ = 0 . 9 9
N = 4 0 0 λ = 1
N = 4 0 0 λ = 1 . 0 1
N = 9 0 0 λ = 0 . 9 9
N = 9 0 0 λ = 1 . 0 1
N = 9 0 0 λ = 1
N = 1 6 0 0 λ = 1
N = 1 6 0 0 λ = 0 . 9 9
N = 1 6 0 0 λ = 1 . 0 1

19. Muerte neuronal.
Alzheimer: Enfermedad neurodegenerativa que se manifiesta
principalmente por perdida de memoria y la incapacidad para
adquirir nuevos recuerdos.
En la siguiente simulación:
Enseñamos 5 patrones a la red.
Eliminamos un cierto porcentaje de conexiones neuronales y
evaluamos la eficiencia con que se recupera cada patrón.
Repetimos esto hasta eliminar todas las conexiones entre
neuronas.

20. Muerte neuronal.
0 1 0 2 0 3 0 4 0 5 0 6 0 7 0 8 0 9 0
0 . 4
0 . 5
0 . 6
0 . 7
0 . 8
0 . 9
1
% O f d e a d c o n e x io n s
Retrievaleficiency
P a t r ó n 1
P a t r ó n 2
P a t r ó n 3
P a t r ó n 4
P a t r ó n 5

21. Conclusiones.

Se ha conseguido un conocimiento sobre este tipo de redes
que permite su correcto manejo de acuerdo a las
simulaciones conseguidas.

Mediante simulaciones se han verificado varias propiedades
enunciadas para modelos similares. Particularmente la acción
reguladora del olvido pasivo.

Se ha podido reproducir un proceso degenerativo asociado a
una enfermedad. Este proceso da pie a la realización de
experimentos más amplios donde además de la
degeneración se estudien mecanismos de compensación
asociados a dichas enfermedades.

22. Perspectivas.

Utilizar la parte de optimización para mejorar un modelo de
red neuronal que se utiliza para ajuste de datos.

Combinar el modelo con modelos biologicamente más
precisos para estudiar enfermedades.

Ampliar el modelo para incluir la variante que puede
almacenar patrones temporales.

23. Gracias por su atención.