El documento discute redes competitivas como la red de Hamming, la cual utiliza competencia entre neuronas para identificar patrones de entrada a través de un proceso de correlación y selección del prototipo más representativo. También se describen principios de aprendizaje competitivo, incluyendo la regla instar y el uso de capas auto-organizativas, que permiten a las redes clasificar datos y adaptarse a nuevas entradas. Finalmente, se abordan aplicaciones de estas redes en el reconocimiento de patrones y señales, así como desafíos asociados con la convergencia y la estabilidad de neuronas en el aprendizaje.

1. 1.2 REDES COMPETITIVAS 1.2.1 RED DE HAMMING, 1.2.2 CAPA COMPETITIVAS, 1.2.3 MAPAS AUTO-ORGANIZATIVOS (Trabajo de Investigación), 1.2.4 CUANTIZACIÓN DEL VECTOR DE APRENDIZAJE

2. INTRODUCCIÓN La red de Hamming es el ejemplo más simple de una red competitiva. Las neuronas en la capa de salida de una red de Hamming compiten entre sí para determinar cual es la ganadora. La ganadora indica cual patrón prototipo es el más representativo de los patrones de entrada.

3. Introducción La competencia es efectuada por inhibición lateral (un conjunto de conexiones negativas entre las neuronas en la capa de salida) . Existen redes auto-organizativas (no supervisadas), las cuales combinan la característica de competencia y diversas reglas de aprendizaje asociativo.

4. En 1973, Christoph von der Malsburg.- Regla de aprendizaje auto-organizativa, la cual permitía a una red clasificar entradas de tal manera que las neuronas vecinas respondían a entradas semejantes. Su desventaja era que se tenía que realizar un cálculo no local para asegurar que los pesos estuvieran normalizados. Introducción

5. En 1965, la regla instar fue presentada por Nils Nilsson en su libro “maquinas que aprenden” . Grossberg modificó el trabajo de “von der Malsburg al re-descubrir la regla instar. Grossberg demostró que la regla instar elimina la necesidad de re-normalizar los pesos. Introducción

6. También influenciaron fuertemente en las redes competitivas las investigaciones de Teuvo Kohonen. Aunque él enfatizó en las aplicaciones de ingeniería. En 1970, Kohonen desarrolla una versión simple de la regla instar y encuentra una forma eficiente para incorporar topología en una red competitiva. Introducción

7. 1.2.1 Red de Hamming La red de Hamming consiste de dos capas. La primera realiza una correlación entre el vector de pesos y los vectores prototipo; y la segunda realiza una competencia para determinar cual de los vectores prototipos es el más cercano al vector de entrada.

8. La primer capa de una red Hamming esta compuesta de muchas instar. Recordando, la regla instar simple puede clasificar solamente UN patrón de entrada. Para tomar en cuenta varios patrones de entrada a ser clasificados se tendrán múltiples instar, lo cual se realiza en la red de Hamming. Capa 1 (Correlación)

9. Capa 1 (Correlación) Si se quiere que la red reconozca el siguiente vector prototipo : Entonces en la capa 1, la matriz de pesos y el vector de umbral serán: Donde cada fila de W 1 representa un vector prototipo , el cual se quiere reconocer, y cada elemento de b 1 es igual al número de elementos en cada vector de entrada (R). W 1 w T 1 w T 2  w T S p 1 T p 2 T  p Q T = = b 1 R R  R =

10. Capa 1 (Correlación) La salida de la primera capa es: El prototipo más cercano al vector de entrada produce la respuesta más grande. Las salidas de la capa 1 son iguales al producto de los vectores prototipo y la entrada, mas R. Dicho producto indica que tan cerca está cada uno de los patrones prototipos del vector de entrada. a 1 W 1 p b 1 + p 1 T p R + p 2 T p R +  p Q T p R + = =

11. Capa 2 (Competición) La segunda capa es inicializada con la salida de la primera capa. Entonces la salida de la segunda capa se actualizará de acuerdo a la siguiente relación recurrente: La matriz de pesos de la segunda capa, W 2 será tal que los elementos de la diagonal son 1 y los restantes tendrán un valor negativo pequeño:

12. Capa 2 (Competición) La neurona con la condición inicial más grande ganará la competencia. La matriz W 2 produce una inhibición lateral , en la cual la salida de cada neurona tiene un efecto inhibitorio sobre todas las demás neuronas. Para una neurona de una entrada se tendrá:

13. En cada iteración, la salida de la neurona se disminuirá en proporción a la suma de las salidas de las restantes neuronas ( con una salida mínima de 0 ). La salida de las neurona con la condición inicial mayor disminuirá más lentamente que las salidas de las otras neuronas. Capa 2 (Competición)

14. Eventualmente, dicha neurona será la única con una salida positiva. Al mismo tiempo la red ha alcanzado la estabilidad. El índice de la neurona en la segunda capa con una salida positiva estable será el índice del vector prototipo que mejor reproduce la entrada. Lo anterior se conoce como: competencia del ganador toma todo . Debido a que solo una neurona tendrá su respuesta distinta de cero. Capa 2 (Competición)

15. Red de Hamming

16. Capa Feedforward Reconocedor de Banana/manzana

17. Capa Recurrente

18. Operación de Hamming Entrada (Próxima a Banana) Primera Capa

19. Segunda Capa Operación de Hamming

20. Interpretación En cada iteración, la salida de cada neurona disminuirá proporcionalmente a la suma de las salidas de las otras neuronas (mínimo de cero). La salida de la neurona con la condición inicial más alta disminuirá más lentamente que las salidas de las otras neuronas.

21. Interpretación Con el tiempo dicha neurona será la única que tenga una salida positiva. Cuando esto sucede se dice que la red ha alcanzado su estado estable . El índice de la neurona de la segunda capa con una salida positiva y estable es el índice del vector prototipo que mejor reproduce la entrada.

22. Resumen La red de Hamming: Red Competitiva Primera Capa – Unión de patrones (Producto Punto) Segunda Capa – Competencia (El ganador toma todo) # de neuronas = # Patrones prototipos

23. 1.2.2 CAPA COMPETITIVA INTRODUCCIÓN, APRENDIZAJE COMPETITIVO.

24. INTRODUCCIÓN Auto-organización consiste en la modificación de la red completa para llevar a cabo un objetivo específico. Generalización es la facultad de las redes de responder adecuadamente cuando se les presentan datos o situaciones a las que nunca había sido expuesta anteriormente.

25. Reconocimiento de Imágenes. Transmisión de señales. Reconocimiento de patrones. APLICACIONES DE LAS REDES COMPETITIVAS Introducción

26. APRENDIZAJE COMPETITIVO Las neuronas compiten unas con otras para llevar a cabo una tarea dada. La competición entre neuronas se realiza en todas las capas de la red. Tienen conexiones recurrentes de auto excitación y de inhibición por parte de neuronas vecinas. Introducción

27. APRENDIZAJE COMPETITIVO Este aprendizaje, realiza la categorización de los datos introducidos en la red. Las clases o categorías deben ser creadas por la propia red. Estas neuronas tienen asignado un peso total, que es la suma de todos los pesos que tienen a su entrada. Introducción

28. REDES AUTOORGANIZATIVAS Aprenden a detectar regularidades y correlaciones en sus entradas. Adaptan sus respuestas futuras conforme a sus entradas. Introducción

29. Introducción: Funciones en el MATLAB Capas Competitivas initc , simuc , trainc Mapas Autoorganizativos initsm , simusm , trainsm Matriz de relación de Vecindad. nbgrid , nbdist , nbman

30. Introducción: APRENDIZAJE COMPETITIVO ARQUITECTURA

31. Introducción : INICIALIZACION La función initc toma una matriz de vectores de entrada P y un número de neuronas S y regresa pesos para una capa competitiva sin bias. W = initc ( P , S )

32. Introducción: EJEMPLO DE INICIALIZACIÓN Capa competitiva de 5 neuronas con 2 entradas en un intervalo de [ 0 , 10 ] y [ -3 , +3] : W = initc ( [ 0 10 ; -3 3] , 5 ) ;

33. Introducción : ENTRENAMIENTO La red puede ser entrenada con vectores de entrada utilizando distintas reglas de aprendizaje (learnis , learnk). Cada neurona compite para responder a un vector de entrada p. La neurona que gana la competencia es la que presenta un vector de pesos que está más cerca de, p, y se le asigna un valor de 1.

34. Introducción : ENTRENAMIENTO La neurona ganadora actualiza su vector de pesos con el fin de ser igual al vector de entrada. La neurona ganadora tiene mayor probabilidad de ganar la siguiente vez. a = simuc ( p , W ); dw = learnis ( p , a , lr , W ); W = W + dW ;

35. Introducción : ENTRENAMIENTO Función trainc [ W , b ] = trainc ( W , P , tp ) ; TP = [ disp_freq max_pres lr bc ] ;

36. Introducción : ENTRENAMIENTO Syntax net = nnt2c(pr,w,klr,clr) Descripción NNT2C(PR,W,KLR,CLR) Toma estos argumentos, PR - Rx2 matrix of min and max values for R input elements. W - SxR weight matrix. KLR - Kohonen learning rate, default = 0.01. CLR - Conscience learning rate, default = 0.001. y regresa una capa competitiva. Una vez que la red ha sido actualizada se puede simular, inicializar, adaptar, o entrenar con SIM, INIT, ADAPT, y TRAIN. Ver NEWC.

37. Introducción : ENTRENAMIENTO help newc NEWC Create a competitive layer. Syntax net = newc(PR,S,KLR,CLR) Description Competitive layers are used to solve classification problems. NET = NEWC(PR,S,KLR,CLR) takes these inputs, PR - Rx2 matrix of min and max values for R input elements. S - Number of neurons. KLR - Kohonen learning rate, default = 0.01. CLR - Conscience learning rate, default = 0.001. Returns a new competitive layer.

38. CAPA COMPETITIVA En la red de Hamming las neuronas de la segunda capa están en competencia ya que cada neurona se auto excita e inhibe a todas las demás. Una función de transferencia que realiza el trabajo de una capa competitiva recurrente es:

39. Capa Competitiva La función compet encuentra el índice i * de la neurona que tiene la entrada neta más grande, y manda su salida a 1. Todas las otras salidas son mandadas a cero. , y,

40. Capa Competitiva Al igual que en la capa competitiva de Hamming, el vector prototipo se almacena en las filas de W . Compet : a = 1 ; para la neurona con una n mayor. a = 0; para todas las otras neuronas.

41. Capa Competitiva La entrada neta n calcula la distancia entre el vector de entrada p y cada vector prototipo i w ( asumiendo que los vectores tienen una longitud normalizada de L ). n W p w 1 T w 2 T  w S T p w 1 T p w 2 T p  w S T p L 2  1 cos L 2  2 cos  L 2  S cos = = = =

42. Capa Competitiva La entrada neta n i de cada neurona i es proporcional al ángulo  i entre p y el vector prototipo i w . La función de transferencia competitiva asigna una salida de 1 a la neurona cuyo vector de pesos apunte en la dirección más cercana al vector de entrada. a= compet (Wp).

43. REGLA DE APRENDIZAJE COMPETITIVO Una regla de aprendizaje que puede utilizarse para entrenar una red competitiva, sin conocer el vector prototipo es la regla instar : En una red competitiva, a es diferente de cero para la neurona ganadora ( i=i * ). Lo anterior se puede logra al utilizar la regla de Kohonen:

44. Aprendizaje Competitivo Regla Kohonen La fila de la matriz de pesos más cercana al vector de entrada se moverá hacia el vector de entra.

45. Representación Gráfica

46. Ejercicio En la figura A se presentan seis vectores. Utilice dichos vectores y demuestre como una capa competitiva aprende a clasificar los vectores. Los vectores son:

47. Ejemplo Figura A

48. Ejercicio La red competitiva tendrá 3 neuronas, y por lo tanto puede clasificar vectores en tres clases distintas. Los pesos aleatorios iniciales son:

49. Ejercicio Si se presentará el vector de entrada p 2 a la red:

50. Ejercicio El vector de pesos de la segunda neurona es el más cercano a p 2 , así es que es el que gana la competencia ( i * = 2). Por lo tanto se aplicará la regla de aprendizaje de Kohonen a la neurona ganadora, tomando en cuanta una razón de aprendizaje de  = 0.5:

51. Ejercicio La regla de Kohonen mueve a 2 w acercándolo a p 2 .

52. Ejercicio: Al continuar presentando aleatoriamente los vectores de entrada a la red, en cada iteración los vectores de pesos se aproximarán a los vectores de entrada al mover hacia ellos el vector de peso. Después de un tiempo, los vectores de pesos apuntará a un agrupamiento (cluster) diferente de vectores de entrada.

53. Ejercicio Cada vector de peso se convierte en un prototipo para un agrupamiento diferente. Pesos Finales en el ejemplo.

54. Ejercicio Una vez que la red aprende a agrupar los vectores de entrada, clasificará nuevos vectores. La capa competitiva asignará a cada vector de entrada p a alguna clase existente al producir una salida de 1 para la neurona cuyo vector de peso este más cercano a p .

55. PROBLEMAS CON LAS CAPAS COMPETITIVAS Razón de aprendizaje (  0;  1) y estabilidad en el vector de peso; Agrupamientos cercanos; Neurona Muerta.

56. Convergencia Típica (Clustering) Antes del Entrenamiento Después del Entrenamiento Pesos Vectores de entrada

57. Unidades Muertas Un problema con el aprendizaje competitivo es que las neuronas con pesos iniciales lejos del valor de cualquier entrada casi nunca ganan. Solución: Agregar un Umbral negativo a cada neurona, e incrementar la magnitud del umbral hasta que la neurona gane. Con lo cual la ganadora será más fuerte. A esto se le conoce por “conciencia” (conscience) Unidad Muerta

58. Estabilidad 1 w (0) 2 w (0) p 1 p 3 p 2 p 5 p 6 p 7 p 4 p 8 1 w (8) 2 w (8) p 1 p 3 p 2 p 5 p 6 p 7 p 4 p 8 Si los vectores de entrada no caen en clusters adecuados, entonces para rangos de aprendizaje grandes la presentación de cada vector de entrada modificará la configuración de tal manera que el sistema presentará una evolución continua.