Este documento presenta los conceptos fundamentales de las memorias asociativas y autoasociativas implementadas mediante redes neuronales artificiales. En particular, describe la memoria Bidireccional Asociativa (BAM) y la memoria de Hopfield, las cuales almacenan patrones mediante la asignación de pesos sinápticos y convergen a un estado estable a través de iteraciones recursivas hacia adelante y hacia atrás.

1. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 1
La Memoria de BAM/Hopfield
Uso de parte de la Información para recuperar el remanente
asociado
Capítulo 4

2. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 2
Memoria Asociativa
• Definición: Sean P pares de vectores
{(x1,y1),..,(xP,yP)} con xpRN e yp RK, conjunto
llamado muestra. Entonces la función
M: RNRK con N,K y P  N+ se llama una
Memoria Hetereoasociativa ssi:
– M(xp)=yp p=1,..,P
– M(x)=yp para todo x tal que ||x-xp||<|| x-xl||
l=1,..,P, lp

3. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 3
Memoria Asociativa
• Definición: Sean P pares de vectores
{(x1,y1),..,(xP,yP)} con xpRN e yp RK, conjunto
llamado muestra. Entonces la función
• M: RNRK se llama memoria asociativa
interpolativa ssi:
P
1,..,
p
,
)
(
entonces
si
ie,
,
)
(
que
tal
P
1,..,
p
y
)
( p


















p
p
K
N
p
p
p
y
x
M
y
x
x
e
d
e
y
d
x
M
e
d
x
M

4. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 4
Memoria Asociativa
La memoria asociativa interpolativa se puede
construir desde un conjunto ortonormal de
vectores {xp} , p=1,.. P. Entonces la función
M se define como
x
x
y
x
M
P
p
T
p
p 








 
1
)
(

5. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 5
Memoria Asociativa
• Definición:Sean un conjunto de P vectores
{x1,..,xP} con xpRN , N, PN+ conjunto llamado
muestra. Entonces la función M: RNRN se dice
que implementa una memoria autoasociativa
ssi:
p
l
P
l
x
x
x
x
x
x
x
M
x
M
l
p
p
p











,..,
1
||
||
||
||
:
)
(
P
1,..,
p
x
)
( p

6. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 6
La Arquitectura BAM
• BAM(Bidirectional Associative Memory):
Implementa una memoria asociativa
interpolativa y consiste en dos capas de
neuronas totalmente conectadas.
• La entrada y salida se pueden cambiar intercambiar ,
i.e., las direcciones de las flechas se invierten.

7. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 7
Estructura de una red BAM

8. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 8
La Arquitectura BAM
• Matriz de Pesos:
– {xp}p=1, P conjunto ortogonal.
• Salida de la red: y=W x
• Función de activación: f (x)=x
• Si {yp} es ortogonal, entonces la red es
reversible: x = Wt y
• La red puede ser usada como memoria
autoasociativa considerando xy,
entonces:



P
p
T
p
p x
y
W
1



P
p
T
p
p x
x
W
1

9. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 9
Dinámica de la BAM
– En las ANN-BAM los pesos no son ajustados
durante el período de entrenamiento. Se calculan
desde la partida a partir de un conjunto de
vectores a ser almacenados: {xp,yp}p=1,..,P
– Se usan vectores bipolares (con valores -1 o 1)
pertenecientes al espacio de Hamming.
– x = 2x* -1 ( con valores “0” o “1”)
– A partir de {xp } e {yp } ortonormales  BAM
– El proceso de  trabaja en tiempo discreto.

10. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 10
Distancia de Hamming

11. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 11
Procedimiento
• En t=0, x= 0 es aplicado a la red y se calcula y(0)=W x(0)
• La salida de las capas x e y son propagadas hacia adelante y atrás hasta
que se alcanza un estado estable usando:
0̂
))
1
(
(
))
(
(
:
estable
Condición
)
(
|
))
1
(
(
|
))
1
(
(
)
1
(
)
(
|
))
(
(
|
))
(
(
)
1
(
:
matricial
forma
0
)
1
(
:)
,
(
si
1
K
1,..,
j
,
0
)
1
(
:)
,
(
si
)
(
0
)
1
(
:)
,
(
si
1
))
1
(
:)
,
(
(
)
1
(
0
)
(
)
(:,
si
1
N
1,..,
i
,
0
)
(
)
(:,
si
)
(
0
)
(
)
(:,
si
1
))
(
)
(:,
(
)
1
(













































t
x
W
sign
t
y
W
sign
t
y
t
x
W
sign
t
x
W
sign
t
y
t
x
t
y
W
sign
t
y
W
sign
t
x
t
x
j
W
t
x
j
W
t
y
t
x
j
W
t
x
j
W
f
t
y
t
y
i
W
t
y
i
W
t
x
t
y
i
W
t
y
i
W
f
t
x
T
T
c
T
T
c
T
T
T
T
j
T
j
T
T
i
T
T
i

12. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 12
Procedimiento
– Cuando se trabaja en el proceso inverso y(0) es
aplicado a la red, x(0)=WT y(0) es calculado a
partir :
– El sistema resultante es un sistema dinámico :
–  Solución estable
– El proceso converge a la solución en tiempo finito
0̂
))
1
(
(
))
(
(
:
estable
Condición
)
(
|
))
1
(
(
|
))
1
(
(
)
1
(
)
(
|
))
(
(
|
))
(
(
)
1
(













t
y
W
sign
t
x
W
sign
t
x
t
Wy
sign
t
Wy
sign
t
x
t
y
t
Wx
sign
t
Wx
sign
t
y
T
T
C
C

13. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 13
Función de Energia de la BAM
• Función de Energía de la BAM:
E(x,y)=-yt W x
• Teorema:La función de energía tiene las
siguientes propiedades:


i
j
ji
w
E
ii
,
min |
|
)




  t
t E
E
E
iii 1
)
))
(
),
(
(
))
1
(
),
1
(
(
) 1 t
y
t
x
E
t
y
t
x
E
i t
t 




14. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 14
Función de Lyapunov
Obervaciones
• Se puede verificar que la función de Energia es una
función de Lyapunov y por lo tanto el sistema dinámico
posee una solución estable.
• En esencia la matriz de pesos determina una superficie con
valles ( depresiones atractivas ) y colinas similares al BPL
• BAM se parece a un sistema fisico disipativo, en el que la
función E, corresponde a la energía del sistema fisico
• Inicialmente los cambios de E(x,y) son grandes y a medida
que los vectores x e y , van alcanzando su estado estable el
valor de E tiene cambios más pequeños

15. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 15
•Proposición: Si el patrón de entrada xl es igual al guardado {xp}
entonces se obtiene yl
DEM:
l
l
pl
P
p
p
P
p
l
t
p
p
y
y
sign
y
sign
x
x
y
sign
t
Wx
sign
y








)
(
)
(
)
(
))
(
(
1
1


16. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 16
• Observación:
– El proceso de ejecución es convergente y la solución se
alcanza en tiempo finito.
– El numero máximo de vectores que pueden ser
guardados son 2N-1.
– Los vectores de Hamming son simétricos con respecto
a la notación 1. Por lo tanto el vector de Hamming
lleva la misma información que su complemento xc.
• Como xC = -x e yp= W xp,
se tiene: yp
C = - yp = W xp = W(-xp) = W xp
c
– La BAM guarda la dirección de los vectores de la
muestra y no sus valores.

17. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 17
El Algoritmo de la BAM
• Inicialización de la red: Calcular la matriz de pesos W.
• Red recursiva Forward:
– Dado x(0), calcular y(0) =W x(0)
– Calcular:
Hasta estabilizar la red
• Red recursiva Backward:
– Dado y(0), calcular x(0) = WT y(0)
– Calcular:
Hasta estabilizar la red.
)
(
|
))
1
(
(
|
))
1
(
(
)
1
(
)
(
|
))
(
(
|
))
(
(
)
1
(
t
y
t
x
W
sign
t
x
W
sign
t
y
t
x
t
y
W
sign
t
y
W
sign
t
x
c
T
T
c
T
T










)
(
|
))
1
(
(
|
))
1
(
(
)
1
(
)
(
|
))
(
(
|
))
(
(
)
1
(
t
x
t
Wy
sign
t
Wy
sign
t
x
t
y
t
Wx
sign
t
Wx
sign
t
y
C
C











18. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 18
La Estructura de Memoria
Autoasociativa

19. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 19
Memoria de Hopfield Discreta
• Consiste en una memoria autoasociativa con
una capa totalmente conectada la que
adicionalmente recibe una señal de entrada
externa x.



P
p
T
p
p y
y
W
1

20. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 20
La Memoria de Hopfield

21. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 21
Memoria discreta de Hopfield
• Características:
– Trabaja con vectores binarios {0,1}.
– Matriz peso:
con la diagonal igual a 0.
– Función de actualización:
donde {tj}j=1,K = t es el vector umbral
– Notación matricial:





P
p
T
p
p y
y
W
1
)
1̂
2
)(
1̂
2
(































K
j
i
i
j
j
i
ji
K
j
i
i
j
j
i
ji
j
K
j
i
i
j
j
i
ji
j
t
x
y
w
t
x
y
w
t
y
t
x
y
w
t
y
1
1
1
si
0
si
)
(
si
1
)
1
(
)
(
|
)
(
|
]
|
)
(
|
1̂
)
(
[
2
1
)
1
(
)
)
(
(
)
(
t
y
t
A
t
A
t
A
t
y
t
x
t
Wy
sign
t
A
c
c










22. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 22
Función de Energía
• Función de energía de la memoria discreta de
Hopfield:
• Teorema: Propiedades de la función de energía:
• El proceso de iteración converge en tiempo finito.
)
(
2
1
t
x
y
Wy
y
E T
T




)]
(
[
)]
1
(
[
) 1 t
y
E
t
y
E
i t
t 


K
w
E
ii
i
j
ji 

  |
|
2
1
)
,
min




  t
t E
E
E
iii 1
)

23. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 23
Memoria Continua de Hopfield
• Función de activación:
• Inversa de la función de activación:
ganancia
de
parámetro
)
2
)
tanh(
1
(
)
(


 




a
a
f
]
1
ln[
2
1
)
(
)
1
(
y
y
y
f





24. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 24
Memoria de Hopfield Continua
• Ecuación diferencial que describe la evolución:
• En aproximación de tiempo discreto, el
procedimiento de actualización:
a
t
x
Wy
dt
da
a
t
x
y
w
dt
da K
j
i
i
j
j
j
i
ji
j






 




1
:
matricial
Notación
1
1
)]
(
1̂
[
)
(
)
(
1̂
)
(
ln
1
)
(
)
(
)
1
( t
y
t
y
t
y
t
y
t
x
t
Wy
t
y
t
y 



















25. Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 25
Memoria de Hopfield Continua
• Función de Energía de la memoria de Hopfield:
• Teorema: Propiedades de la función de energia:
–
– El proceso iterativo es convergente.
– +, entonces se tiene el caso discreto
– 0, existe solo 1 estado estable
 

 








K
j
y
j
K
j
j
j
K
j
i
j
i
i
ji
j
j
dy
y
f
t
y
x
y
w
y
E
1 0
)
1
(
1
1
,
'
)
'
(
1
2
1

0
) 
dt
dE
i 





K
i
j
i
j
ji K
w
E
ii
1
,
min |
|
2
1
)
1̂
2
1

y