El documento describe la arquitectura y funcionamiento del neocognitrón, una red neuronal concebida para el reconocimiento de caracteres escritos a mano. El neocognitrón tiene una estructura jerárquica compuesta de capas S y C. Las capas S buscan características visuales básicas mientras que las capas C combinan dichas características. El aprendizaje se realiza mediante ajuste de pesos sin supervisión entre representantes de cada capa. La red resuelve ambigüedades mediante inhibición lateral y reconoce múltiples

1. EL NEOCOGNITRON Maldonado Orduño Jessie Martínez Correa Jesús. Munguía Solache Martha Ruíz Hidalgo Héctor Alejandro

2. Introducción Arquitecturas como las de propagación hacia atrás, tienden a tener aplicabilidad general. Los creadores del neocognitrón, propusieron formular una arquitectura adaptada a una aplicación concreta : el reconocimiento de caracteres escritos a mano. Este sistema posee una aplicación práctica muy amplia ya que a juzgar por las introducciones de algunos de sus artículos, Kuniko Fukushima y sus colaboradores parecen estar más interesados en desarrollar un modelo del cerebro. Con este objetivo, su diseño se basó en el trabajo seminal desarrollado por Hubel y Weisel, que aclaraba parte de la arquitectura funcional de la corteza visual.

3. Vías visuales que van desde el ojo hasta la corteza visual primaria.

4. Introducción El neocognitrón tiene una estructura jerárquica del neocognitrón. El neocognitrón es un buen ejemplo de la forma en que unos resultados neurobiológicos se pueden emplear para desarrollar una nueva arquitectura de red.

5. Procesamiento de la capa S La retina, (capa U 0 ), es una matriz de 19 por 19 pixels. Cada plano de U Sl tendrá una matriz del mismo tamaño de la retina (19x19). Cada plano barre toda la retina en busca de cierta característica.

6. Procesamiento de la capa S Cada célula del plano S busca exactamente la misma característica pero en una posición diferente de la retina. El campo receptivo de cada una de las células S corresponde a una matriz de 3x3. Hay un plano de células V C asociado a cada capa S del sistema.

7. Procesamiento de la capa S La salida de una célula V C va a una sola célula S de todos los planos de la capa. La salida de la célula V C tiene un efecto inhibitorio sobre las células S.

8. Procesamiento de la capa S Para las capas más profundas, en las cuales una célula recibe conexiones de entrada procedentes de todos los planos de la capa C anterior se utiliza la siguiente fórmula: en donde la función  está dada por U S l ( k l , n ) = r l ·  1 + r l 1 + r l b l ( k l ) · V C l ( n ) a l ( k l -1 , v , k l ) · U C l -1 ( k l -1 , n + v ) k l -1 =1 K l -1  v  A l  1 + - 1 [ ]  ( x ) = x x  0 0 x < 0 {

9. Procesamiento de la capa S k l = k -ésimo plano del nivel l . n = posición de la célula dentro del plano. v = posición relativa de una célula dentro de la capa anterior que se encuentre en el campo receptivo de n . U C l -1 ( k l -1 , n + v ) = Entradas excitatorias. a l ( k l -1 , v , k l ) = Pesos de las entradas excitatorias. V C l ( n ) = Entrada inhibitoria. b l ( k l ) = Peso de la entrada inhibitoria. r l Parámetro de selectividad, 0  r l   . Si r l es grande, es más selectiva. Si r l es pequeño, es menos selectiva.

10. Procesamiento de la capa S La salida de los nodos inhibitorios está dada por: donde c l ( v ) es el peso de la conexión que procede de una célula situada en la posición v del campo receptivo de la célula V C , dado por: C( l ) es una constante de normalización: V C l ( n ) = c l ( v ) · U 2 C l -1 ( k l -1 , n + v ) k l -1 =1 K l -1  v  A l  c l ( v ) = C( l ) 1 a l r ’(v) C( l ) = k l -1 =1 K l -1  v  A l  a l r ’(v)

11. Entrenamiento de pesos de las capas S Aprendizaje sin supervisión Se presenta una trama de entrada y se propagan los datos por la red. Se ajustan los pesos. Se presenta una nueva trama de entrada. Se repite el proceso para todas las tramas del conjunto de entrenamiento.

12. Entrenamiento de pesos de las capas S En el neocognitrón, los pesos compartidos en un plano dado significan que sólo una célula de cada plano necesita participar en el proceso de aprendizaje. Una vez que los pesos han sido actualizados, se puede distribuir una copia del nuevo vector de pesos a las otras células del mismo plano.

13. Entrenamiento de pesos de las capas S Se puede pensar que es como si los planos S de una capa dada estuvieran apilados verticalmente uno encima de otro, alineados de tal forma que las células de posiciones correspondientes estuvieran precisamente una encima de otra. Ahora se pueden imaginar múltiples columnas superpuestas que corren perpendicularmente a la pila. Se aplica una trama de entrada y se examina la respuesta de las células S de cada columna. Primero se anota el plano y la posición de la célula S cuya respuesta sea la más fuerte de cada columna.

14. Entrenamiento de pesos de las capas S Después se examinan los planos individuales, de tal manera que si un plano contiene dos o más de estas células S, se desprecian todas las células S salvo la que responda con más intensidad. De esta manera se localizará la célula S de cada plano cuya respuesta sea la más intensa, con la condición de que cada una de estas células tiene que estar en una columna diferente. Esas células S pasan a ser los prototipos o representantes de todas las células de sus planos respectivos. De forma similar, la célula V C cuya respuesta sea la más intensa será seleccionada como representante de las demás células del plano V C .

15. Entrenamiento de pesos de las capas S Una vez que se han seleccionado los representantes, se lleva a cabo la actualización de pesos de acuerdo con las siguientes ecuaciones:  a l ( k l -1 , v , k l ) = q l c l -1 ( v )Uc l -1 ( k l -1 , n + v )  b l ( k l ) = q l Vc l -1 ( n ) en donde q l es el parámetro de rapidez de aprendizaje, c l -1 ( v ) es la función monótona decreciente y la posición del representante del plano k l es n .

16. Procesamiento en la capa C Cada capa C tiene asociada a ella un único plano de unidades inhibitorias que se comportan de manera similar a las células V C de la capa S. La salida de estas unidades se denota en la forma V S l ( n ). En general, las unidades de un plano C dado reciben conexiones de entrada procedentes de un plano S, o todo lo demás de un pequeño número de ellos, situados en la capa anterior. Las células V S reciben conexiones de entrada procedentes de todos los planos s de la capa anterior.

17. Procesamiento en la capa C La salida de una célula C viene dada por [ ] U C l ( k l , n ) =  1 + V S ( n ) - 1 en donde K l es el número de planos S que hay en el nivel l j l (  l , k l ) es uno o cero dependiendo de si el plano S  l está o no conectado con el plano C k l d l ( v ) es el peso de la conexión existente entre la célula S situada en la posición v del campo receptivo de la célula C y D l define la geometría del campo receptivo de la célula C. d l ( v ) · U S l ( k l , n + v ) k l -1 =1  l -1  v  D l  1 + j l (  l , k l )

18. Procesamiento en la capa C La función  está definida por: en donde  es una constante. La salida de las células V S está dada por Los pesos d l ( v ) son valores fijos cuya forma general es la misma que los c l ( v ) descritos anteriormente.  ( x ) = x  + x { x  0 0 x < 0 V S ( n ) = U S l ( k l , n + v ) · d l ( v ) k l -1 =1  l -1  v  D l  1 K l

19. INHIBICION Y REALIMENTACIÓN AL NEOCOGNITRON El primero error consiste en resolver la ambigüedad para que la red tome una decisión clara. La segunda consiste en hacer que la red reconozca e identifique las dos tramas que están presentes en la retina. Se puede conseguir que la red se decida por una de las dos tramas añadiendo una inhibición lateral entre células vecinas de la capa. Si cada célula inhibe a otras células, entonces las pequeñas diferencias de respuesta se irán amplificando con el paso del tiempo, consiguiendo una célula ganadora.

20. El segundo problema se puede resolver añadiendo vías de realimentación a la red, junto con otros dispositivos, tales como controles de ganancia en las células y condiciones de umbral variables. Se envían señales hacia atrás, en dirección a la retina, a través de otros planos de células, durante el proceso de propagación hacia delante, sólo permanecen activas algunas células c y algunas células s controlando las vías de realimentación de tal manera que las señales de realimentación retrocedan por el mismo camino a través de la red, en dirección a la retina. INHIBICION Y REALIMENTACIÓN AL NEOCOGNITRON

21. INHIBICION Y REALIMENTACIÓN AL NEOCOGNITRON Para hacer que la red reconozca la segunda trama que esta presente en la retina, lo único que se necesita es interrumpir momentáneamente las señales de realimentación. Esta acción da lugar a que disminuya la ganancia de todas las células c activas, como si se fatigasen. Como resultado, pueden responder otras células que estuviesen inactivas anteriormente, y se establecerá una segunda resonancia allí donde sea identificada la segunda trama en la última capa de la red.