Este documento describe los mapas autorganizativos y el algoritmo de Kohonen. Los mapas autorganizativos realizan aprendizaje no supervisado para representar datos de entrada de alta dimensionalidad en una red de baja dimensionalidad. El algoritmo de Kohonen itera sobre los datos de entrada y ajusta los pesos de la unidad ganadora y sus vecinas para que se parezcan más al dato de entrada. Esto mapea datos similares a unidades adyacentes en la red.

1. RNA. Facultat d’Inform´
atica. UPV. Tema IV.1: Mapas autorganizativos
Mapas autorganizativos
¯ Aprendizaje no supervisado
¯ “Learning Vector Quantization”
¯ Aplicaciones
2000-2001 1

2. RNA. Facultat d’Inform´
atica. UPV. Tema IV.1: Mapas autorganizativos
Mapas autorganizativos
UNIDAD j
w
1j
w w w
2j w w 6j 7j
3j 4j w5j
ξ(t ,j)
0 ξ(t ,j) ξ(t ,j)
x1 x2 x3 x4 x5 x6 x7 1 2
¯ E SPACIO DE ENTRADA : Á
Ê
¯ R ED DE Å UNIDADES : Ê
¯ C ONJUNTO DE PESOS : ª ¾Ê
¯ F UNCI ON DISTANCIA :
´ ´Üµ Ü ¾
¯ F UNCI ON DE ENTORNO :
´ Á ¢Ê
Æ È ´Êµ, ´Ø µ
¼
´Ø µ ¾ Ê si ؼ Ø
2000-2001 2

3. RNA. Facultat d’Inform´
atica. UPV. Tema IV.1: Mapas autorganizativos
Algoritmo de Kohonen
algoritmo SOM( Ê )
Datos: : dimension del espacio de entrada; Ê: una red de Å unidades;
´
: ÜÔ ÜÔ ¾ Á ½ Ô Ò
Ê
Resultado: ª ¾ Ê : pesos de conexiones.
para todo hacer ´
:= valor aleatorio /* Inicializacion */ fin para
t:=0
repetir
t:=t+1
para todo ÜÔ ¾ hacer
argmin½ Ü ¾ /* Eleccion de la unidad mas proxima* /
´ ´
Å
para todo ¾ ´Ø µ /* ´Ø¼ µ ´Ø µ si ؼ Ø*/ hacer
· ´Øµ´Ü µ /* ´Ø¼µ ´Øµ si ؼ Ø*/
fin para
fin para
hasta ´Øµ ¼ o ´Ø µ
2000-2001 3

4. RNA. Facultat d’Inform´
atica. UPV. Tema IV.1: Mapas autorganizativos
Algoritmo de Kohonen
w’’’(t)
w(t) w(t+1)
w’(t+1) x
w’(t)
w"(t) w"(t+1)
-
ξ (t,j) w’’’’(t)
2000-2001 4

5. RNA. Facultat d’Inform´
atica. UPV. Tema IV.1: Mapas autorganizativos
Algoritmo de Kohonen
¯ Propiedad: La regla ´Ø · ½µ ´Øµ · ´Øµ ¡ ´Ü´Øµ ´Øµµ con ¼ ´Øµ ½
verifica: ܴص ´Ø · ½µ ¾ ܴص ´Øµ ¾
¯ Recomendacion:
´
– ´Øµ ¼ ¨¡ ´½ Ø ½¼¼¼µ ©
– ´Ø µ ÜÔ´ Ö Ö
¼
¼
¾ ¾´ ´ µµ µ
Ø ¾ ¯ ´Øµ ½ Øo
´ ¼ ¼¼½
Ö y Ö ¼ son las coordenadas de y ¼
.
¯ Convergencia: (Yang y Dillon, 1991)
¯ Propiedad: Datos proximos en Á tenderan a estar representados por
´ Ê ´
´
unidades “proximas” en el mapa autoorganizativo.
¯ Aplicacion: visualizacion en 2D: Á
´ ´ Ê ½ Á ¢ ½ Á o en 1D Á
Ê
½ Á
¯ Propiedad: A partir de una gran cantidad de datos de entrenamiento, la red
es capaz de aproximar las distribuciones de probabilidad subyacentes del
conjunto de datos con un numero reducido de unidades (Kohonen,1987)
´
2000-2001 5

6. RNA. Facultat d’Inform´
atica. UPV. Tema IV.1: Mapas autorganizativos
´
Dinamica de un mapa autoorganizativo
Dado un Ü ¾ Á , Ü es
Ê si
¾
argmin Ü
¾Ê
Ü ¾
ܾ · ¾
¾¡ Ü ¡
½ ½ ½
È
si Ô ¾¡ y Ô¼ ½
¾
argmin Ü ¾
argmax´Ü ¡ Ô · Ô¼ µ
¾Ê ¾Ê
´
Una funcion discriminante lineal
2000-2001 6

7. RNA. Facultat d’Inform´
atica. UPV. Tema IV.1: Mapas autorganizativos
Clasificador basado en un SOM
CAPA DE SALIDA
CAPA DEL MAPA
CAPA DE ENTRADA
2000-2001 7

8. RNA. Facultat d’Inform´
atica. UPV. Tema IV.1: Mapas autorganizativos
Etiquetado
algoritmo CALIBRADO-SOM( Ê )
Datos: ´ Ê
: dimension del espacio de entrada; : una red de Å unidades;
: ´ÜÔ ØÔµ ØÔ ¾
ÜÔ Á ½ Ô Ò ; ª
Ê ¾ ¾Ê
Resultado: ETIQ Ê ½
para ½ hasta Å hacer
para todo × ¾
hacer VOTOS × ¼ fin para
fin para
para todo ´ÜÔ ØÔ µ ¾
hacer
argmin½ Å Ü ¾
;
VOTOS ØÔ VOTOS ØÔ · ½;
fin para
para ½ hasta Å hacer
ETIQ argmax×¾ VOTOS ×
fin para
para ½ hasta Å hacer
si VOTOS ETIQ ¼ entonces ETIQ fin si ½
fin para
2000-2001 8

9. RNA. Facultat d’Inform´
atica. UPV. Tema IV.1: Mapas autorganizativos
Esquema general LVQ
algoritmo ESQUEMA-LVQ( Ê )
Datos: : dimension del espacio de entrada; Ê: una red de Å unidades;
´
: ´ÜÔ ØÔµ ØÔ ¾ Ê ½
ÜÔ ¾ Á Ô Ò
Resultado: ª ¾Ê
ª SOM´ Ê µ
ETIQ CALIBRADO´ Ê ªµ
Ø ¼
repetir
para todo ´ÜÔ ØÔµ ¾ hacer
Ø Ø ·½
ª
LVQ*´ÜÔ ØÔ ª ETIQµ
fin para
hasta ´Ø ÌÑ Üµ o convergencia
2000-2001 9

10. RNA. Facultat d’Inform´
atica. UPV. Tema IV.1: Mapas autorganizativos
“Learning Vector Quantization” 1
algoritmo LVQ1(ÜÔ ØÔ ª ETIQ)
Datos: Una muestra ÜÔ ¾ Á , ØÔ ¾
Ê
ª ¾Ê
ETIQ Ê ½
Resultado: ª ¾ Ê corregidos
¾
argmin½ Å Ü
si (ETIQ´ µ ØÔ) entonces
´Øµ ¡ ÜÔ
sino
· ´Øµ ¡ ÜÔ
fin si
2000-2001 10

11. RNA. Facultat d’Inform´
atica. UPV. Tema IV.1: Mapas autorganizativos
“Learning Vector Quantization” 2
algoritmo LVQ2(ÜÔ ØÔ ª ETIQ)
Datos: Una muestra ÜÔ ¾ Á , ØÔ ¾
Ê
ª ¾Ê
ETIQ Ê ½
Resultado: ª ¾ Ê corregidos
argmin½ Ü ¾
Å
argmin½ Ü ¾
Å
si ´ETIQ´ µ ØÔ µ ´ETIQ´ µ µ
ØÔ entonces
ÜÔ ¾ ÜÔ ¾
si Ñ Ò´ ½ µ ´½ Úµ ´½ · Úµ entonces
´Øµ ¡ ÜÔ
· ´Øµ ¡ ÜÔ
fin si
fin si
2000-2001 11

12. RNA. Facultat d’Inform´
atica. UPV. Tema IV.1: Mapas autorganizativos
“Learning Vector Quantization” 3
algoritmo LVQ3(ÜÔ ØÔ ª ETIQ)
Datos: Una muestra ÜÔ ¾ ÁÊ , ØÔ ¾ ; ª ¾ Ê ; ETIQ Ê ½
Resultado: ª ¾ Ê corregidos
argmin½ Å Ü ¾
; argmin½ Å Ü ¾
si ´ETIQ´ µ ØÔµ ´ETIQ´ µ ØÔµµ entonces
si ´ETIQ´ µ ØÔµ entonces ´ µ ´ µ fin si
si ´ETIQ´ µ ETIQ´ µµ entonces
·¯ ¡
´Øµ ÜÔ ¡ ; · ¯ ¡ ´Øµ ¡ ÜÔ
sino
ÜÔ ¾
ÜÔ ¾
si ´Ñ Ò´ ½ µ ´½ Ú µ ´½ · Ú µµ entonces
· ´Øµ ¡ ÜÔ ; ´Øµ ¡ ÜÔ
fin si
fin si
fin si
2000-2001 12

13. RNA. Facultat d’Inform´
atica. UPV. Tema IV.1: Mapas autorganizativos
“Decision Surface Mapping”
algoritmo DSM(ÜÔ ØÔ ª ETIQ)
Datos: Una muestra ÜÔ ¾ Á , ØÔ ¾
Ê
ª ¾Ê
ETIQ Ê ½
Resultado: ª ¾ Ê corregidos
¾
argmin½ Å Ü
si (ETIQ´ µ ØÔ) entonces
argmin½ Ü ¾
Å ETIQ´ µ ØÔ
´Øµ ¡ ÜÔ
· ´Øµ ¡ ÜÔ
fin si
2000-2001 13

14. RNA. Facultat d’Inform´
atica. UPV. Tema IV.1: Mapas autorganizativos
Aplicaciones
¯ Reconocimiento del habla: mapas fonotonicos.
´
¯ Procesamiento del lenguaje natural: mapas semanticos.
´
¯ Control de robots.
¯ Compresion de imagenes.
´ ´
¯ Clasificacion de icebergs por radar.
´
¯ Clasificacion de las canciones de cortejo en insectos.
´
2000-2001 14

15. RNA. Facultat d’Inform´
atica. UPV. Tema IV.1: Mapas autorganizativos
´
Mapas foneticos
a a a ah h oe oe φ φ e e e
o a a h r oe l φ y y j i
o o a h r r r η η y j i
o o m a r m n m n j i i
l o u h v vm n n h hj j i
l u v v p d d t r h hi j
. . u v tk k p p p r k s
. . v k pt t p t p h s s
2000-2001 15

16. RNA. Facultat d’Inform´
atica. UPV. Tema IV.1: Mapas autorganizativos
´
Mapas semanticos
water meat dog horse
beer bread
little
fast seldom Bob
much Jim
slowly often
eats Mary
well works
poorly speaks phones
buys visits
sells
runs
drinks walks hates likes
2000-2001 16