SlideShare una empresa de Scribd logo
1 de 18
INSTITUTO POLITÉCNICO NACIONAL


    ESCUELA SUPERIOR DE CÓMPUTO




           MATERIA: Redes Neuronales Artificiales II.


      PROFESOR : M. En C. José Luis Calderón Osorno.




EQUIPO :
            o   Maldonado Orduño Jessie.
            o   Martínez Correa Jesús.
            o   Munguía Solache Martha.
            o   Ruíz Hidalgo Héctor Alejandro.



                  FECHA : 11 de Junio de 2002.
Introducción :
       Arquitecturas como las de propagación hacia atrás, tienden a tener
aplicabilidad general.      Se puede utilizar el mismo tipo de red para distintas
aplicaciones, cambiando el tamaño de la red, sus parámetros y conjuntos de
entrenamiento.       Los creadores del neocognitrón, propusieron formular una
arquitectura adaptada a una aplicación concreta : el reconocimiento de caracteres
escritos a mano.     Este sistema posee una aplicación práctica muy amplia ya que
a juzgar por las introducciones de algunos de sus artículos, Kuniko Fukushima y
sus colaboradores parecen estar más interesados en desarrollar un modelo del
cerebro.      Con este objetivo, su diseño se basó en el trabajo seminal
desarrollado por Hubel y Weisel, que aclaraba parte de la arquitectura funcional de
la corteza visual.
        La figura 1 muestra las vías principales seguidas por las neuronas en su
camino de vuelta hacía la zona del cerebro conocida con el nombre de corteza
visual, estriada o también llamada zona 17. El nervio óptico está formado por
los axones de ciertas células nerviosas denominadas ganglios retinales. Los
ganglios son estimulados indirectamente por los conos y bastoncillos sensibles a
la luz a través de varias neuronas intermedias.




      Figura 1. Vías visuales que van desde el ojo hasta la corteza visual primaria.


       Hubel y Weisel iniciaron el desarrollo de una técnica para discernir el
funcionamiento de las células nerviosas del sistema visual, empleando micro
electrodos para registrar respuestas de neuronas individuales de la corteza
cuando se estimulaba la retina mediante la luz.      Aplicando distintas tramas y
formas determinaron el estimulo concreto al cual era más sensible la neurona.
        Los ganglios retinales y las células del núcleo geniculado lateral parecen
tener campos de percepción circulares, por lo que responden con mayor
intensidad a manchas circulares de luz de un cierto tamaño y en una cierta zona
de la retina. La parte de la retina que estimula una célula ganglionar se denomina
campo receptivo del ganglio, algunos de ellos producen una respuesta excitatoria
frente a manchas luminosas situadas en posición central y una respuesta
inhibitoria frente a manchas luminosas mayores y más difuminadas.         Estos
campos tienen una respuesta características del tipo centro activado y periferia
desactivada, aunque existen otros campos que tienen características opuestas.
       La corteza visual está formada de seis capas de neuronas, la mayoría de
las neuronas del LGN terminan en células de la capa IV y tienen campos
perceptivos con simetría circular, como los ganglios retinales y las células del
LGN. La respuesta característica de las células empieza a tener complejidad
creciente.    La células de la capa IV llegan a un grupo de células que están
directamente sobre ellas y se denominan células simples. Estas responden a los
segmentos de líneas que tengan una orientación concreta. A su vez, las células
simples tienen acceso a otras células llamadas células complejas.       Estas
células responden a líneas con la misma orientación que sus células simples
correspondientes, aunque tienden a integrar su respuesta en un campo receptivo
más extenso.         Las células complejas son menos sensibles a la posición de la
línea en la retina que las células simples.   Algunas células complejas son
sensibles a segmentos de línea de una cierta orientación que se estén moviendo
en una dirección particular.
        Las células de diferentes capas del área 17 llegan a distintas posiciones del
cerebro, como las células de las capas II y III tienen acceso a células de las áreas
18 y 19, stas áreas contienen células llamadas células hipercomplejas que
responden a líneas que formen ángulos o esquinas y que se desplacen en
distintas direcciones del capo receptivo.
       La imagen que surge de estudios es la de una jerarquía de células cuya
respuesta características es cada vez más complicada.       No es difícil extrapolar
esta idea de jerarquía hasta llegar a una en la cual se produce mayor abstracción
de datos en niveles cada vez más altos.        El diseño del neocognitrón adopta
esta estructura jerarquica en una arquitectura por capas, según se ilustra en la
figura 2.
Figura 2. Estructura jerárquica del neocognitrón.


      El neocognitrón es un buen ejemplo de la forma en que unos resultados
neurobiológicos se pueden emplear para desarrollar una nueva arquitectura de
red.


1. Arquitectura del neocognitrón

El diseño del neocognitrón evolucionó a partir de un modelo anterior llamado
cognitrón, y existen varias versiones del neocognitrón en sí. Una de ellas tiene
nueve capas de PE, incluyendo la capa de la retina. El sistema ha sido diseñado
para reconocer los números del 0 al 9, independientemente del lugar en que se
encuentren dentro del campo de visión de la retina. Además la rede tienen un alto
grado de tolerancia frente a distorsiones del carácter, y es relativamente insensible
al tamaño del carácter. Esta arquitectura tiene solamente conexiones hacia
delante.

Descripción Funcional

Los PE del neocognitrón están organizados en módulos llamados NIVELES. En la
figura 1 se muestra un único nivel.
Figura 3. Se muestra un único nivel de un neocognitrón. Cada nivel consta de dos
 capas y cada capa consta de un cierto número de planos. Los planos contienen
                     los PE en una distribución rectangular.


Cada nivel consta de dos CAPAS: una de células sencillas (células S) y otra de
células complejas (células C). Cada capa, a su vez, está dividida en un cierto
número de PLANOS, cada uno de los cuales consta de una distribución
rectangular de PE. Para un nivel dado, la capa S y la capa C pueden tener o no el
mismo número de planos. Todos los planos de una capa dada tendrán el mismo
número de PE; pero el número de PE de los planos A puede ser distinto del
número de PE de los planos C del mismo nivel.

Se construye una red completa combinando una capa de3 entrada llamada
RETINA, con un cierto número de niveles de forma jerárquica. Deseamos resaltar
que no hay nada, en principio, que establezca unos límites para el tamaño de la
red en términos del número de niveles.

La estrategia de interconexión es distinta de la de aquéllas redes que están
totalmente interconectadas entre capas, como la Backpropagation. La figura 2
muestra una representación esquemática de la forma en que están conectadas las
células en el neocognitrón.
Figura 4. Representación esquemática de la estrategia de interconexión del
neocognitrón. A) En el primer nivel, cada unidad S recibe conexiones de entrada
procedentes de una pequeña región de la retina. B) En niveles intermedios, cada
  unidad de un plano S recibe conexiones de entrada procedentes de posiciones
       correspondientes de todos los planos C que haya en el nivel anterior.

 Cada capa de células sencillas actúa como un sistema de extracción de
características que emplea la capa precedente como capa de entrada. En la
primera capa S, las células de cada plano son sensibles a características
sencillas de la retina: a segmentos de líneas con distintos ángulos de orientación.
Todas las células S de un mismo plano son sensibles a la misma característica,
pero en distintas posiciones dentro de la capa de entrada. Las células S de
distintos planos responden a distintas características.

Las células S van respondiendo a características cuyos niveles de abstracción son
cada vez más elevados. Las células C integran las respuestas de grupos de
células S. Como cada célula S está buscado la misma característica en una
posición diferente, la respuesta de la célula C es menos sensible a la posición
exacta de la característica dentro de la capa de entrada. Este comportamiento es
lo que da al neocognitrón la capacidad para identificar caracteres
independientemente de su posición exacta dentro del campo de la retina. Cuando
llega el momento en que se alcanza la capa final de células C, el campo receptivo
efectivo de todas las células esto da la retina, como se muestra en la figura 3:
Figura 5 Forma en la que el neocognitrón desempeña su función de
                         reconocimiento de caracteres


Los pesos de las conexiones con células S se determinan mediante un proceso
que se describirán más adelante. A diferencia de muchas otras arquitecturas de
redes (como la backpropagation), en las cuales cada unidad tiene un vector de
pesos distinto, todas las células S de un mismo plano comparten un mismo vector
de pesos. Compartir pesos de esta manera significa que todas las células S de un
plano dado responden exactamente a la misma característica en sus campos
receptivos tal como se había indicado. Además sólo se necesita entrenar una
célula S de cada plano, y distribuir después los pesos resultantes a las demás
células.

Los pesos de las conexiones que van a células C no son modificables, en el
sentido de que no están determinados mediante un proceso de entrenamiento.
Todos los pesos de células C suelen ser determinados ajustándolos a la
arquitectura específica de la res. Al igual que sucede con los planos S, todas las
células de un mismo plano C comparten los mismo s pesos. Además, en algunas
realizaciones, todos los planos C de una cierta capa comparten los mismos pesos.


2. Procesamiento de datos en el neocognitrón

En esta sección se describirán los distintos algoritmos de procesamiento de las
células del neocognitrón. Se examinará primero el procesamiento de datos de las
células S, incluyendo el método empleado para entrenar la red. Después se
describirá el procesamiento de la capa C.


2.1 Procesamiento de la capa S

Nos centraremos primero en las células de un único plano de U Sl, según se indica
en la Figura 7. Supondremos que la capa de retina, U0, es una matriz de 19 por 19
pixels. Por tanto, cada plano de USl tendrá una matriz de 19 por 19 células. Cada
plano barre toda la retina en busca de una cierta característica. Tal como se indica
en la figura, cada célula del plano está buscando exactamente la misma
característica, pero en una posición diferente de la retina. Cada célula S recibe
conexiones de entrada procedentes de una matriz de 3 x 3 pixels de la retina. El
campo receptivo de cada una de las células S corresponde a la matriz 3 por 3 que
está centrada en el pixel que corresponde a la posición de la célula dentro del
plano.




Figura 7. La retina, que es la capa U0, es una matriz de 19 por 19 pixels, rodeada
por pixels inactivos para tener en cuenta los efectos de bordes. Se muestra uno de
los planos S, junto con una indicación de las regiones de la retina que son barridas
por cada célula individual. Hay un plano de células VC asociado a cada capa S del
sistema. Estas células reciben conexiones de entrada procedentes del mismo
campo receptivo que las células S que se encuentran en posiciones
correspondientes del plano.


Cuando se está construyendo o simulando esta red, es preciso tener en cuenta los
efectos de bordes. Si se rodea la retina activa con pixels inactivos (salidas que
siempre están puestas a cero), entonces se pueden tener en cuenta automática-
mente las células cuyos campos de vista estén centrados en pixels situados en el
borde. Las células S circundantes pueden barrer la distribución que es la retina
estando desplazadas un pixel unas respecto a otras. De esta manera, se barre la
imagen entera de izquierda a derecha y desde arriba hasta abajo, mediante las
células de cada uno de los planos S.

La capa S tiene asociado un único plano de células VC, según se indica en la
Figura 7. El plano V contiene el mismo número de células que cada uno de los
planos S. Las células VC tienen los mismos campos receptivos que las células S
situadas en las posiciones correspondientes del plano. La salida de una célula V C
va a una sola célula S de todos los planos de la capa. Las células S que reciben
entradas de una cierta célula VC son aquellas que ocupan una posición en el plano
que corresponde a la posición de la célula VC. La salida de la célula VC tiene un
efecto inhibitorio sobre las células S. La Figura 8 muestra los detalles de una sola
célula S junto con su correspondiente célula inhibitoria.




Figura 8. Se muestra una única célula S y la célula inhibitoria correspondiente
dentro de la capa US1. Cada una de las unidades recibe las mismas nueve
entradas procedentes de la capa de la retina. Los pesos ai la célula S determinan
la característica a la cual es sensible la célula. Tanto los pesos ai que están en las
conexiones procedentes de la retina como el peso b procedente de las células V c
son modificables, y se determinan empleando un proceso de entrenamiento.



Hasta el momento, hemos estado describiendo la primera capa S, en la cual las
células reciben conexiones de entrada procedentes de un único plano (la retina,
en este caso) situado en la capa anterior. Para lo que sigue, generalizaremos
nuestra discusión para incluir el caso de capas más profundas de la red en las
cuales una célula S recibirá conexiones de entrada procedentes de todos los
planos de la capa C anterior.

Sea el índice kl, que se refiere al k-ésimo plano del nivel l. Se puede rotular cada
celda de un cierto plano mediante un vector bidimensional, en donde n indica su
posición dentro del plano, entonces, haremos que el vector v se refiera a la
posición relativa de una célula dentro de la capa anterior que se encuentre en el
campo receptivo de la unidad n. Con estas definiciones, se puede escribir la
ecuación siguiente para la salida de cualquier célula S:

                                Kl -1
                                                                                         
                            1 + ∑ ∑ a l (k l-1 , v, k l ) · U Cl -1 (k l -1 , n + v)    
       U Sl (kl, n) = rl ·φ  kl -1=1 v ∈                                             − 1   (1)
                                             r                                          
                                        1 + l b l (k l ) · VCl (n)                      
                                           1 + rl                                       

en donde la función φ es una función umbral lineal dada por

                                         x x≥0                                       (2)
                            φ ( x) = {
                                         0 x<0

Se ha utilizado la flotación del punto para indicar la multiplicación ordinaria en la
Ecuación (1), con objeto de hacer más legible la expresión.

Vamos a diseccionar estas ecuaciones con cierto detalle. La suma interna de la
Ecuación (1) es el conocido cálculo de suma de productos, de las entradas,
UCl-1(kl-1, n + v), por los pesos,    al(kl-1, v, kl). La suma se extiende a todas las
unidades de la capa C anterior que yazcan en el campo receptivo de la unidad n.
Estas unidades se han indicado mediante el vector n + v. Como vamos a suponer
que todos los pesos y todos los valores de salida son no negativos, el cálculo de la
suma de productos produce una medida del grado de coincidencia de la trama de
entrada y el vector de pesos de una cierta unidad. Se denota el campo receptivo
mediante Al, indicando que la geometría del campo receptivo es la misma para
todas las unidades de una cierta capa. La suma exterior de la Ecuación (1) se
extiende a los Kl-1 planos de la capa C precedente. En el caso de US1 no habría
necesidad de hacer esta suma exterior.

El producto bl(kl) ⋅ VCl(n), que se encuentra en el denominador de la Ecuación (1),
representa la contribución inhibitoria de la célula VC. El parámetro rl, en donde 0 ≤
rl ≤ ∞, determina la selectividad de la célula con respecto a una trama específica.
El factor rl /( 1 + rl) va desde cero hasta 1 a medida que r l va desde cero hasta
infinito. Por tanto, para valores pequeños de rl, el denominador de la Ecuación (1)
podría ser relativamente pequeño en comparación con el numerador, aun en el
caso de que la trama de entrada no coincidiese exactamente con el vector de
pesos. Esta situación podría dar lugar a un argumento positivo para la función φ.
Si rl, fuera grande, entonces la coincidencia entre la trama de entrada y los pesos
del numerador de la Ecuación (1) tendría que ser más exacta para superar los
efectos inhibitorios de la entrada de la célula V C. Obsérvese también que este
parámetro rl aparece como factor multiplicativo de la función φ. Si rl es pequeño, y
la selectividad de la célula es pequeña, este factor asegura que la salida de la
célula en sí no pueda hacerse demasiado grande.

Se puede visualizar la misión de rl de otra manera. Se reescribe el argumento de
la función que aparece en la Ecuación (1) en la forma

                                           e - [ rl /(l + rl )]h
                                           1 + [rl /(l + rl )]h

en dónde e es el término excitatorio neto y h es el término inhibitorio neto. De
acuerdo con la Ecuación (2), la salida de la célula S será no nula sólo en el caso
de que

                                                     rl
                                           e−             h>0
                                                   1 + rl
o bien
                                               e   r
                                                 > l
                                               h 1 + rl

Por tanto, la magnitud rl determina la intensidad de excitación relativa mínima
frente a la inhibición que dará lugar a una salida no nula de la unidad. A medida
que aumenta rl,              r l /(1 + rl) → 1. Por tanto, un valor mayor de rl requiere
una excitación más grande en relación con la inhibición para obtener una salida no
nula.

Aunque no se ha dicho nada acerca de normalizar el vector de entrada o los
pesos, se podría añadir esta condición al diseño de nuestro sistema. Entonces se
podría hablar de proximidad en términos del ángulo existente entre los vectores de
entrada y de pesos.

Obsérvese que ninguna de las expresiones de los pesos al(kl-1, v, kl) ni bl(kl)
depende explícitamente de la posición n de la célula. Recuérdese que las células
de un plano comparten los mismos pesos, incluso los pesos bl(kl), que no hemos
discutido anteriormente.

Ahora es preciso especificar la salida de los nodos inhibitorios. La célula V C que
está en la posición n tiene el siguiente valor en su salida:

                          Kl -1
              VCl (n) =   ∑ ∑ c (v) · U
                          kl-1=1 v ∈
                                       l
                                               2
                                                   Cl -1   (k l-1 , n + v)   (3)
en donde cl(v) es el peso de la conexión que procede de una célula situada en la
posición v del campo receptivo de la célula VC. Estos pesos no son sometidos a
entrenamiento. Pueden adoptar la forma de cualquier función normalizada que
decrezca monótonamente a medida que aumenta la magnitud de v. Una de estas
funciones es

                                 1       r '( v )
                            cl (v) =  al                  (4)
                               C (l )
en donde r'(v) es la distancia normalizada entre la célula situada en la posición v y
el centro del campo receptivo, y a1 es una constante menor que 1 que determina la
rapidez de atenuación al aumentar la distancia. El factor C(l) es una constante de
normalización:

                                   Kl -1

                                   ∑ ∑a             r '( v )
                    C (l ) =                    l              (5)
                                   kl-1=1 v ∈
La condición para que los pesos se normalicen puede expresarse en la forma

                     Kl-1

                     ∑ ∑ c (v) = 1
                     kl -1=1 v ∈
                                    l                          (6)


lo cual cumplen las Ecuaciones (4) y (5). La forma de la función cl(v) afecta
también a la selectividad de tramas de las células S, favoreciendo aquellas tramas
que están situadas en posición central dentro del campo receptivo. De esta
manera, tanto las entradas excitatorias como las inhibitorias serán más intensas si
la trama de entrada está situada centralmente en el campo receptivo de la célula.

La forma particular de la Ecuación (3) es una raíz cuadrática media ponderada de
las entradas de la célula VC. Volviendo a la Ecuación (1), se puede apreciar que en
las células S la entrada excitatoria neta que llega a la célula se está comparando
con una medida de la señal de entrada media. Si la razón de la entrada excitatoria
neta a la entrada inhibitoria neta es mayor que 1 la célula tendrá una salida
positiva.

2.2 Entrenamiento de pesos de las capas S

Hay varios métodos diferentes para entrenar los pesos del neocognitrón. El mé-
todo que detallaremos aquí es un algoritmo de aprendizaje sin supervisión di-
señado por los creadores del neocognitrón original. Al final de esta sección
mencionaremos unas cuantas alternativas para esta aproximación.

Aprendizaje sin supervisión. En principio, el entrenamiento se desarrolla igual
que para muchas otras redes. En primer lugar, se presenta una trama de entrada
en la capa de entrada y se propagan los datos por la red. Después, se permite que
los pesos hagan ajustes progresivos de acuerdo con el algoritmo especificado.
Una vez que se ha procedido a las actualizaciones de los pesos, se presenta una
nueva trama en la capa de entrada, y el proceso se repite para todas las tramas
del conjunto de entrenamiento hasta que la red esté clasificando correctamente las
tramas de entrada.

En el neocognitrón, los pesos compartidos en un plano dado significan que sólo
una célula de cada plano necesita participar en el proceso de aprendizaje. Una
vez que los pesos han sido actualizados, se puede distribuir una copia del nuevo
vector de pesos a las otras células del mismo plano. Para entender la forma en
que funciona esto, se puede pensar que es como silos planos s de una capa dada
estuvieran apilados verticalmente uno encima de otro, alineados de tal forma que
las células de posiciones correspondientes estuvieran precisamente una encima
de otra. Ahora se pueden imaginar múltiples columnas superpuestas que corren
perpendicularmente a la pila. Estas columnas definen grupos de células S, en las
cuales todos los miembros de cada grupo tienen los campos receptivos
aproximadamente en la misma posición de la capa de entrada.

Tenido este modelo, se aplica una trama de entrada y se examina la respuesta de
las células S de cada columna. Para asegurar que cada célula S produzca una
respuesta nítida, se pueden dar a los pesos al unos valores pequeños, positivos y
aleatorios. Los pesos bl de las conexiones inhibitorias pueden recibir unos valores
iniciales nulos. Primero se anota el plano y la posición de la célula S cuya
respuesta sea la más fuerte de cada columna. Después se examinan los planos
individuales, de tal manera que si un plano contiene dos o más de estas células S,
se desprecian todas las células S salvo la que responda con más intensidad. De
esta manera se localizará la célula S de cada plano cuya respuesta sea la más
intensa, con la condición de que cada una de estas células tiene que estar en una
columna diferente. Esas células S pasan a ser los prototipos o representantes de
todas las células de sus planos respectivos. De forma similar, la célula V C cuya
respuesta sea la más intensa será seleccionada como representante de las demás
células del plano VC.

Una vez que se han seleccionado los representantes, se lleva a cabo la actua-
lización de pesos de acuerdo con las siguientes ecuaciones:

                   ∆al (k l −1 , v, k l ) = ql C l −1 (v)U Cl −1 (k l −1 , n + v)    (8)

                     ∆bl (k l ) = q lVCl −1 (n)                                     (9)

en donde ql es el parámetro de rapidez de aprendizaje, cl-1(v) es la función mo-
nótona decreciente que se describía en la sección anterior, y la posición del re-
presentante del plano kl es ñ.

Obsérvese que los incrementos más grandes de los pesos se producen en
aquellas conexiones que tienen la mayor señal de entrada, UCl-1(kl-1, ñ + v). Dado
que la célula S cuyos pesos están siendo modificados era la que tenía la salida
más grande, este algoritmo de aprendizaje está construyendo una cierta forma de
aprendizaje de Hebb. Obsérvese también que los pesos sólo pueden aumentar, y
que no hay una cota superior para los valores de los pesos. La forma de la
Ecuación (1) para la salida de la célula S garantiza que el valor de salida seguirá
siendo finito, incluso para grandes valores de los pesos.

Una vez que las células de un plano dado empiezan a responder a una cierta
característica, tienden a responder menos a otras características. Una vez trans-
currido un tiempo breve, cada plano habrá desarrollado una respuesta fuerte a una
característica concreta. Además, a medida que se va examinando la red con más
profundidad, los planos van a ir respondiendo a características cada vez más
complejas.

Otros métodos de aprendizaje. Los diseñadores del neocognitrón original sabían
a qué características deseaban que respondiera cada nivel, y cada plano dentro
de cada nivel. En estas circunstancias, se puede desarrollar un conjunto de
vectores de entrenamiento para cada capa, y las capas se pueden entrenar
independientemente. La Figura 9 muestra las tramas de entrenamiento que se
emplearon para entrenar los 38 planos de la segunda capa del neocognitrón que
se mostrara anteriormente en la 4.

También es posible seleccionar por anticipado la célula representativa de cada
plano. Es preciso tener cuidado, sin embargo, para asegurarse de que la trama de
entrada sea presentada en la posición correcta con respecto al campo receptivo
del representante. Una vez más, se precisa un cierto conocimiento por anticipado
de las características deseadas.




Figura 9. Esta figura muestra las cuatro tramas que se emplearon para entrenar a
todos y cada uno de los 38 planos de la capa Us2 del neocognitrón diseñado para
reconocer los números del 0 al 9. Los paréntesis cuadrados indican
agrupamientos de planos S cuyas conexiones de salida convergen en un mismo
plano C de la capa siguiente.


Suponiendo que los vectores de peso y los de entrada estén normalizados, se
pueden hacer las actualizaciones de peso de las células representantes em-
pleando el me-todo descrito en el Capítulo 6 para capas competitivas. Para rea-
lizar este método, lo que se haría básicamente es rotar ligeramente el vector de
pesos existente en la dirección del vector de entrada. Se necesitaría multiplicar
primero el vector de entrada por la función monótona decreciente y renormalizar.

2.3 Procesamiento en la capa C

Las funciones que describen el procesamiento de la capa C son de forma similar a
las correspondientes a las células S. También como la capa S, cada capa C tiene
asociada a ella un único plano de unidades inhibitorias que se comportan de
manera similar a las células VC de la capa S. La salida de estas unidades se
denota en la forma VSl(n).

En general, las unidades de un plano C dado reciben conexiones de entrada
procedentes de un plano S, o todo lo más de un pequeño número de ellos, si-
tuados en la capa anterior. Las células VS reciben conexiones de entrada proce-
dentes de todos los planos s de la capa anterior.

La salida de una célula C viene dada por

                       Kl-1
                                                                            
                   1 + ∑ jl (κ l , k l ) ∑d l (v) · U Sl-1 (k 1 , n + v)   
   U Cl (kl, n) = Ψ                                                      −1
                       kl-1=1            v ∈Dl
                                                                                (10)
                                        1 + VS (n)                         
                                                                           
                                                                           

en donde Kl es el número de planos S que hay en el nivel l; jl(κl, kl) es uno o cero
dependiendo de si el plano S κl está o no conectado con el plano Ckl, dl(v) es el
peso de la conexión existente entre la célula S situada en la posición y del campo
receptivo de la célula C y Dl define la geometría del campo receptivo de la célula
C.

La función Ψ está definida por

                               x
                                   x≥0
                  Ψ ( x) = { β + x                                       (11)
                              0    x<0

en donde β es una constante. La salida de las células VS está dada por
Kl-1
                         1
             VSl (n) =
                         Kl
                              ∑ ∑U
                              kl -1=1 v ∈Dl
                                              Sl -1   (k 1 , n + v) ·d l (v)   (12)




Los pesos dl(v) son valores fijos cuya forma general es la misma que los cl(v)
descritos en la sección anterior, aunque Menon y Heinemann han dado a conocer
resultados satisfactorios si dl(v) es un valor uniforme a lo largo de todo el campo
receptivo.

Obsérvese la ausencia de pesos en la conexión procedente de la célula S, según
indica el denominador de la Ecuación (10). Además, sustitúyase la Ecuación (12)
en la (10) y se observará el parecido entre el numerador y el denominador del
primer término que aparece entre corchetes. La Ecuación (12) indica que la célula
VS está calculando el valor medio de la entrada para todos los planos S. En ese
caso, la Ecuación (10) puede tener un valor no nulo sólo si la respuesta excitatoria
de la célula C es mayor que la media. Este comportamiento es similar al de las
células S, aunque la medida de la media es distinta en cada caso.

En resumen, sólo un cierto porcentaje de células s y células c de cada nivel
responde con un valor de salida positivo. Se trata de aquellas células cuyo nivel de
excitación supera al de las células medias.




3. Rendimiento del Neocognitrón:
      En la figura 10 se muestra una respuesta típica de las células del
neocognitrón de nueve capas entrenado para reconocer números escritos a mano
entre cero y nueve (0 – 9), en concreto cuando se le presenta el número 2.
Cuando los datos se han propagado hasta la capa final, solo hay dos células que
estén dando una respuesta, la que corresponde al número 2 es la que mostrará la
respuesta más intensa.
       La figura 11 muestra algunos ejemplos de números que fueron reconocidos
con éxito.    En la figura 12 hay un ejemplo de trama que da lugar a una
respuesta completamente ambigua por parte del neocognitrón, posteriormente se
describirá el método para la solución de tramas tales como las de la figura 12.
Figura 10. El número 2 aparece en la retina del neocognitrón, se marca cada uno de los
                                planos de la estructura.




    Figura 11. Ejemplos de números reconocidos exitosamente por el neocognitrón.




4.Adición de inhibición lateral y de realimentación al Neocognitron.
      El ejemplo visto anteriormente nos genera dos problemas. El primero
consiste en resolver la ambigüedad para que la red tome una decisión clara. La
segunda consiste en hacer que la red reconozca e identifique las dos tramas que
están presentes en la retina.
Se puede conseguir que la red se decida por una de las dos tramas
añadiendo una inhibición lateral entre células vecinas de la capa. Si cada célula
inhibe a otras células, entonces las pequeñas diferencias de respuesta se irán
amplificando con el paso del tiempo, consiguiendo una célula ganadora.

       El segundo problema se puede resolver añadiendo vías de realimentación a
la red, junto con otros dispositivos, tales como controles de ganancia en las
células y condiciones de umbral variables.

       Siguiendo este procedimiento inicial, se envían señales hacia atrás, en
dirección a la retina, a través de otros planos de células, llamadas células ws y
células wc. Durante el proceso de propagación hacia delante, sólo permanecen
activas algunas células c y algunas células s. Estas células controlan las vías de
realimentación de tal manera que las señales de realimentación retrocedan por el
mismo camino a través de la red, en dirección a la retina.

       Para hacer que la red reconozca la segunda trama que esta presente en la
retina, lo único que se necesita es interrumpir momentáneamente las señales de
realimentación. Esta acción da lugar a que disminuya la ganancia de todas las
células c activas, como si se fatigasen. Como resultado, pueden responder otras
células que estuviesen inactivas anteriormente, y se establecerá una segunda
resonancia allí donde sea identificada la segunda trama en la última capa de la
red.

Más contenido relacionado

La actualidad más candente

Guias 15 y 16 cuarto
Guias 15 y 16 cuartoGuias 15 y 16 cuarto
Guias 15 y 16 cuartoTeodomedes R
 
Taller de conjuntos 4º y 5º...
Taller de conjuntos 4º y 5º...Taller de conjuntos 4º y 5º...
Taller de conjuntos 4º y 5º...farid200405
 
Guía español 5º___1º_período
Guía español 5º___1º_períodoGuía español 5º___1º_período
Guía español 5º___1º_períodoJOHN101235
 
Examen ciencias Cèlulas, Reinos Seres Vivos quinto
Examen ciencias Cèlulas, Reinos Seres Vivos quintoExamen ciencias Cèlulas, Reinos Seres Vivos quinto
Examen ciencias Cèlulas, Reinos Seres Vivos quintoLedy Aristizabal
 
reproducción en humanos. Hojas de trabajo para Biología 7º básico
reproducción en humanos. Hojas de trabajo para Biología 7º básicoreproducción en humanos. Hojas de trabajo para Biología 7º básico
reproducción en humanos. Hojas de trabajo para Biología 7º básicoHogar
 
Prueba primer periodo español grado 5
Prueba primer periodo español grado 5Prueba primer periodo español grado 5
Prueba primer periodo español grado 5eangelesf
 
Guia grado 4 primer periodo
Guia grado 4 primer periodoGuia grado 4 primer periodo
Guia grado 4 primer periodoPaulita HR
 
2do grado -_bloque_3_-_ejercicios_complementarios
2do grado -_bloque_3_-_ejercicios_complementarios2do grado -_bloque_3_-_ejercicios_complementarios
2do grado -_bloque_3_-_ejercicios_complementariosantelo78
 
Evaluacion Reproduccion Sexual y asexual
Evaluacion Reproduccion Sexual y asexualEvaluacion Reproduccion Sexual y asexual
Evaluacion Reproduccion Sexual y asexualcursocecam07
 
CONJUNTOS SEGUNDO
CONJUNTOS SEGUNDOCONJUNTOS SEGUNDO
CONJUNTOS SEGUNDOAngie Lopez
 
2do grado bloque 3 - ejercicios complementarios
2do grado   bloque 3 - ejercicios complementarios2do grado   bloque 3 - ejercicios complementarios
2do grado bloque 3 - ejercicios complementariosfernando Hernandez Perez
 
Matemáticas primer periodo.examen segundo de primaria
Matemáticas primer periodo.examen segundo de primariaMatemáticas primer periodo.examen segundo de primaria
Matemáticas primer periodo.examen segundo de primariaLorena Isabel Mejía Cadavid
 
El respeto grado 2 y 3°
El respeto grado 2 y 3°El respeto grado 2 y 3°
El respeto grado 2 y 3°sulymar21
 
Libro de actividades grado 1º
Libro de actividades grado 1ºLibro de actividades grado 1º
Libro de actividades grado 1ºPILAR ABELLA
 

La actualidad más candente (20)

Sustantivo abstracto
Sustantivo abstractoSustantivo abstracto
Sustantivo abstracto
 
Taller fuerza y trabajo
Taller fuerza y trabajoTaller fuerza y trabajo
Taller fuerza y trabajo
 
Guias 15 y 16 cuarto
Guias 15 y 16 cuartoGuias 15 y 16 cuarto
Guias 15 y 16 cuarto
 
Taller de conjuntos 4º y 5º...
Taller de conjuntos 4º y 5º...Taller de conjuntos 4º y 5º...
Taller de conjuntos 4º y 5º...
 
Guía español 5º___1º_período
Guía español 5º___1º_períodoGuía español 5º___1º_período
Guía español 5º___1º_período
 
Examen ciencias Cèlulas, Reinos Seres Vivos quinto
Examen ciencias Cèlulas, Reinos Seres Vivos quintoExamen ciencias Cèlulas, Reinos Seres Vivos quinto
Examen ciencias Cèlulas, Reinos Seres Vivos quinto
 
reproducción en humanos. Hojas de trabajo para Biología 7º básico
reproducción en humanos. Hojas de trabajo para Biología 7º básicoreproducción en humanos. Hojas de trabajo para Biología 7º básico
reproducción en humanos. Hojas de trabajo para Biología 7º básico
 
Prueba primer periodo español grado 5
Prueba primer periodo español grado 5Prueba primer periodo español grado 5
Prueba primer periodo español grado 5
 
Guia grado 4 primer periodo
Guia grado 4 primer periodoGuia grado 4 primer periodo
Guia grado 4 primer periodo
 
2do grado -_bloque_3_-_ejercicios_complementarios
2do grado -_bloque_3_-_ejercicios_complementarios2do grado -_bloque_3_-_ejercicios_complementarios
2do grado -_bloque_3_-_ejercicios_complementarios
 
Evaluacion Reproduccion Sexual y asexual
Evaluacion Reproduccion Sexual y asexualEvaluacion Reproduccion Sexual y asexual
Evaluacion Reproduccion Sexual y asexual
 
Guión de clases
Guión de clasesGuión de clases
Guión de clases
 
CONJUNTOS SEGUNDO
CONJUNTOS SEGUNDOCONJUNTOS SEGUNDO
CONJUNTOS SEGUNDO
 
2do grado bloque 3 - ejercicios complementarios
2do grado   bloque 3 - ejercicios complementarios2do grado   bloque 3 - ejercicios complementarios
2do grado bloque 3 - ejercicios complementarios
 
Matemáticas primer periodo.examen segundo de primaria
Matemáticas primer periodo.examen segundo de primariaMatemáticas primer periodo.examen segundo de primaria
Matemáticas primer periodo.examen segundo de primaria
 
Guias etica undecimo
Guias etica undecimoGuias etica undecimo
Guias etica undecimo
 
Prueba para mi clase
Prueba para mi clasePrueba para mi clase
Prueba para mi clase
 
El respeto grado 2 y 3°
El respeto grado 2 y 3°El respeto grado 2 y 3°
El respeto grado 2 y 3°
 
Entre textos 1 semestre b
Entre textos 1 semestre bEntre textos 1 semestre b
Entre textos 1 semestre b
 
Libro de actividades grado 1º
Libro de actividades grado 1ºLibro de actividades grado 1º
Libro de actividades grado 1º
 

Destacado

4. repres e infer parte1
4. repres e infer parte14. repres e infer parte1
4. repres e infer parte1norma8avila
 
1. sistemas computacionales parte1
1. sistemas computacionales parte11. sistemas computacionales parte1
1. sistemas computacionales parte1norma8avila
 
2. introduccion 2x
2. introduccion 2x2. introduccion 2x
2. introduccion 2xnorma8avila
 
3. introduccion 3x
3. introduccion 3x3. introduccion 3x
3. introduccion 3xnorma8avila
 
1. sistemas computacionales parte1
1. sistemas computacionales parte11. sistemas computacionales parte1
1. sistemas computacionales parte1norma8avila
 
Conoc reglas-juego
Conoc reglas-juegoConoc reglas-juego
Conoc reglas-juegonorma8avila
 
3. introduccion parte3x
3. introduccion parte3x3. introduccion parte3x
3. introduccion parte3xnorma8avila
 
Algoritmos Genéticos
Algoritmos GenéticosAlgoritmos Genéticos
Algoritmos GenéticosESCOM
 
7. repres e infer parte4
7. repres e infer parte47. repres e infer parte4
7. repres e infer parte4norma8avila
 
5. introduccion parte 4
5. introduccion parte 45. introduccion parte 4
5. introduccion parte 4norma8avila
 
Ing. sist. basados conocimient ox
Ing. sist. basados conocimient oxIng. sist. basados conocimient ox
Ing. sist. basados conocimient oxnorma8avila
 
Clips parte4 resumen
Clips parte4 resumenClips parte4 resumen
Clips parte4 resumennorma8avila
 
1. sistemas computacionales parte3
1. sistemas computacionales parte31. sistemas computacionales parte3
1. sistemas computacionales parte3norma8avila
 
4. introducciónx
4. introducciónx4. introducciónx
4. introducciónxnorma8avila
 
5. repres e infer parte2
5. repres e infer parte25. repres e infer parte2
5. repres e infer parte2norma8avila
 
0. reglas del juego
0. reglas del juego0. reglas del juego
0. reglas del juegonorma8avila
 
Ing. sist. basados conocimient ox
Ing. sist. basados conocimient oxIng. sist. basados conocimient ox
Ing. sist. basados conocimient oxnorma8avila
 

Destacado (20)

4. repres e infer parte1
4. repres e infer parte14. repres e infer parte1
4. repres e infer parte1
 
1. sistemas computacionales parte1
1. sistemas computacionales parte11. sistemas computacionales parte1
1. sistemas computacionales parte1
 
2. introduccion 2x
2. introduccion 2x2. introduccion 2x
2. introduccion 2x
 
3. introduccion 3x
3. introduccion 3x3. introduccion 3x
3. introduccion 3x
 
1. sistemas computacionales parte1
1. sistemas computacionales parte11. sistemas computacionales parte1
1. sistemas computacionales parte1
 
4. aprendizaje
4. aprendizaje4. aprendizaje
4. aprendizaje
 
Conoc reglas-juego
Conoc reglas-juegoConoc reglas-juego
Conoc reglas-juego
 
3. introduccion parte3x
3. introduccion parte3x3. introduccion parte3x
3. introduccion parte3x
 
Algoritmos Genéticos
Algoritmos GenéticosAlgoritmos Genéticos
Algoritmos Genéticos
 
7. repres e infer parte4
7. repres e infer parte47. repres e infer parte4
7. repres e infer parte4
 
5. introduccion parte 4
5. introduccion parte 45. introduccion parte 4
5. introduccion parte 4
 
Ing. sist. basados conocimient ox
Ing. sist. basados conocimient oxIng. sist. basados conocimient ox
Ing. sist. basados conocimient ox
 
Clips parte4 resumen
Clips parte4 resumenClips parte4 resumen
Clips parte4 resumen
 
4. aprendizaje
4. aprendizaje4. aprendizaje
4. aprendizaje
 
Patio 77
Patio 77Patio 77
Patio 77
 
1. sistemas computacionales parte3
1. sistemas computacionales parte31. sistemas computacionales parte3
1. sistemas computacionales parte3
 
4. introducciónx
4. introducciónx4. introducciónx
4. introducciónx
 
5. repres e infer parte2
5. repres e infer parte25. repres e infer parte2
5. repres e infer parte2
 
0. reglas del juego
0. reglas del juego0. reglas del juego
0. reglas del juego
 
Ing. sist. basados conocimient ox
Ing. sist. basados conocimient oxIng. sist. basados conocimient ox
Ing. sist. basados conocimient ox
 

Similar a Neocognitron

redes neuronales Kohonen
redes neuronales Kohonenredes neuronales Kohonen
redes neuronales KohonenESCOM
 
Funciones satlin satlins
Funciones satlin satlinsFunciones satlin satlins
Funciones satlin satlinsChristian Lara
 
Neocognitron
NeocognitronNeocognitron
NeocognitronESCOM
 
Sistemas Basados en Casos IUT
Sistemas Basados en Casos IUTSistemas Basados en Casos IUT
Sistemas Basados en Casos IUTLuis Álamo
 
REDES NEURONALES Mapas con Características Autoorganizativas Som
REDES NEURONALES Mapas   con Características Autoorganizativas  SomREDES NEURONALES Mapas   con Características Autoorganizativas  Som
REDES NEURONALES Mapas con Características Autoorganizativas SomESCOM
 
LAS NEURONAS. 9.Raiza Briceno
LAS NEURONAS. 9.Raiza BricenoLAS NEURONAS. 9.Raiza Briceno
LAS NEURONAS. 9.Raiza BricenoRaiza Briceno
 
Función de transferencia compet
Función de transferencia competFunción de transferencia compet
Función de transferencia competRichar León
 
La arquitectura nuclear y su dinamica
La arquitectura nuclear y su dinamicaLa arquitectura nuclear y su dinamica
La arquitectura nuclear y su dinamicaCarlo Par Ce
 
Utp sirn_cap4_5_red perceptron
 Utp sirn_cap4_5_red perceptron Utp sirn_cap4_5_red perceptron
Utp sirn_cap4_5_red perceptronjcbenitezp
 
Funcionamiento de las redes neuronales simples
Funcionamiento de las redes neuronales simplesFuncionamiento de las redes neuronales simples
Funcionamiento de las redes neuronales simplesDavid Freire
 

Similar a Neocognitron (20)

Ap acompet
Ap acompetAp acompet
Ap acompet
 
Redes neuronales
Redes neuronalesRedes neuronales
Redes neuronales
 
redes neuronales Kohonen
redes neuronales Kohonenredes neuronales Kohonen
redes neuronales Kohonen
 
2º asignacion redes neuronales
2º asignacion redes neuronales2º asignacion redes neuronales
2º asignacion redes neuronales
 
Redes neuronales
Redes neuronalesRedes neuronales
Redes neuronales
 
cuadernillo 7.pdf
cuadernillo 7.pdfcuadernillo 7.pdf
cuadernillo 7.pdf
 
Funciones satlin satlins
Funciones satlin satlinsFunciones satlin satlins
Funciones satlin satlins
 
Neocognitron
NeocognitronNeocognitron
Neocognitron
 
Neurona de Mc culloch
Neurona de Mc cullochNeurona de Mc culloch
Neurona de Mc culloch
 
Redes neuronale
Redes neuronaleRedes neuronale
Redes neuronale
 
Sistemas Basados en Casos IUT
Sistemas Basados en Casos IUTSistemas Basados en Casos IUT
Sistemas Basados en Casos IUT
 
REDES NEURONALES Mapas con Características Autoorganizativas Som
REDES NEURONALES Mapas   con Características Autoorganizativas  SomREDES NEURONALES Mapas   con Características Autoorganizativas  Som
REDES NEURONALES Mapas con Características Autoorganizativas Som
 
redes competitivas
redes competitivasredes competitivas
redes competitivas
 
LAS NEURONAS. 9.Raiza Briceno
LAS NEURONAS. 9.Raiza BricenoLAS NEURONAS. 9.Raiza Briceno
LAS NEURONAS. 9.Raiza Briceno
 
Función de transferencia compet
Función de transferencia competFunción de transferencia compet
Función de transferencia compet
 
La arquitectura nuclear y su dinamica
La arquitectura nuclear y su dinamicaLa arquitectura nuclear y su dinamica
La arquitectura nuclear y su dinamica
 
Cristales líquidos
Cristales líquidosCristales líquidos
Cristales líquidos
 
Utp sirn_cap4_5_red perceptron
 Utp sirn_cap4_5_red perceptron Utp sirn_cap4_5_red perceptron
Utp sirn_cap4_5_red perceptron
 
Tejido nervioso
Tejido nerviosoTejido nervioso
Tejido nervioso
 
Funcionamiento de las redes neuronales simples
Funcionamiento de las redes neuronales simplesFuncionamiento de las redes neuronales simples
Funcionamiento de las redes neuronales simples
 

Más de ESCOM

redes neuronales tipo Som
redes neuronales tipo Somredes neuronales tipo Som
redes neuronales tipo SomESCOM
 
redes neuronales Som
redes neuronales Somredes neuronales Som
redes neuronales SomESCOM
 
redes neuronales Som Slides
redes neuronales Som Slidesredes neuronales Som Slides
redes neuronales Som SlidesESCOM
 
red neuronal Som Net
red neuronal Som Netred neuronal Som Net
red neuronal Som NetESCOM
 
Self Organinising neural networks
Self Organinising  neural networksSelf Organinising  neural networks
Self Organinising neural networksESCOM
 
Teoria Resonancia Adaptativa
Teoria Resonancia AdaptativaTeoria Resonancia Adaptativa
Teoria Resonancia AdaptativaESCOM
 
ejemplo red neuronal Art1
ejemplo red neuronal Art1ejemplo red neuronal Art1
ejemplo red neuronal Art1ESCOM
 
redes neuronales tipo Art3
redes neuronales tipo Art3redes neuronales tipo Art3
redes neuronales tipo Art3ESCOM
 
Art2
Art2Art2
Art2ESCOM
 
Redes neuronales tipo Art
Redes neuronales tipo ArtRedes neuronales tipo Art
Redes neuronales tipo ArtESCOM
 
Neocognitron
NeocognitronNeocognitron
NeocognitronESCOM
 
Fukushima Cognitron
Fukushima CognitronFukushima Cognitron
Fukushima CognitronESCOM
 
Counterpropagation NETWORK
Counterpropagation NETWORKCounterpropagation NETWORK
Counterpropagation NETWORKESCOM
 
Counterpropagation NETWORK
Counterpropagation NETWORKCounterpropagation NETWORK
Counterpropagation NETWORKESCOM
 
Counterpropagation
CounterpropagationCounterpropagation
CounterpropagationESCOM
 
Teoría de Resonancia Adaptativa Art2 ARTMAP
Teoría de Resonancia Adaptativa Art2 ARTMAPTeoría de Resonancia Adaptativa Art2 ARTMAP
Teoría de Resonancia Adaptativa Art2 ARTMAPESCOM
 
Teoría de Resonancia Adaptativa ART1
Teoría de Resonancia Adaptativa ART1Teoría de Resonancia Adaptativa ART1
Teoría de Resonancia Adaptativa ART1ESCOM
 
Teoría de Resonancia Adaptativa ART
Teoría de Resonancia Adaptativa ARTTeoría de Resonancia Adaptativa ART
Teoría de Resonancia Adaptativa ARTESCOM
 
learning Vector Quantization LVQ2 LVQ3
learning Vector Quantization LVQ2 LVQ3learning Vector Quantization LVQ2 LVQ3
learning Vector Quantization LVQ2 LVQ3ESCOM
 
Learning Vector Quantization LVQ
Learning Vector Quantization LVQLearning Vector Quantization LVQ
Learning Vector Quantization LVQESCOM
 

Más de ESCOM (20)

redes neuronales tipo Som
redes neuronales tipo Somredes neuronales tipo Som
redes neuronales tipo Som
 
redes neuronales Som
redes neuronales Somredes neuronales Som
redes neuronales Som
 
redes neuronales Som Slides
redes neuronales Som Slidesredes neuronales Som Slides
redes neuronales Som Slides
 
red neuronal Som Net
red neuronal Som Netred neuronal Som Net
red neuronal Som Net
 
Self Organinising neural networks
Self Organinising  neural networksSelf Organinising  neural networks
Self Organinising neural networks
 
Teoria Resonancia Adaptativa
Teoria Resonancia AdaptativaTeoria Resonancia Adaptativa
Teoria Resonancia Adaptativa
 
ejemplo red neuronal Art1
ejemplo red neuronal Art1ejemplo red neuronal Art1
ejemplo red neuronal Art1
 
redes neuronales tipo Art3
redes neuronales tipo Art3redes neuronales tipo Art3
redes neuronales tipo Art3
 
Art2
Art2Art2
Art2
 
Redes neuronales tipo Art
Redes neuronales tipo ArtRedes neuronales tipo Art
Redes neuronales tipo Art
 
Neocognitron
NeocognitronNeocognitron
Neocognitron
 
Fukushima Cognitron
Fukushima CognitronFukushima Cognitron
Fukushima Cognitron
 
Counterpropagation NETWORK
Counterpropagation NETWORKCounterpropagation NETWORK
Counterpropagation NETWORK
 
Counterpropagation NETWORK
Counterpropagation NETWORKCounterpropagation NETWORK
Counterpropagation NETWORK
 
Counterpropagation
CounterpropagationCounterpropagation
Counterpropagation
 
Teoría de Resonancia Adaptativa Art2 ARTMAP
Teoría de Resonancia Adaptativa Art2 ARTMAPTeoría de Resonancia Adaptativa Art2 ARTMAP
Teoría de Resonancia Adaptativa Art2 ARTMAP
 
Teoría de Resonancia Adaptativa ART1
Teoría de Resonancia Adaptativa ART1Teoría de Resonancia Adaptativa ART1
Teoría de Resonancia Adaptativa ART1
 
Teoría de Resonancia Adaptativa ART
Teoría de Resonancia Adaptativa ARTTeoría de Resonancia Adaptativa ART
Teoría de Resonancia Adaptativa ART
 
learning Vector Quantization LVQ2 LVQ3
learning Vector Quantization LVQ2 LVQ3learning Vector Quantization LVQ2 LVQ3
learning Vector Quantization LVQ2 LVQ3
 
Learning Vector Quantization LVQ
Learning Vector Quantization LVQLearning Vector Quantization LVQ
Learning Vector Quantization LVQ
 

Último

Pasos para enviar una tarea en SIANET - sólo estudiantes.pdf
Pasos para enviar una tarea en SIANET - sólo estudiantes.pdfPasos para enviar una tarea en SIANET - sólo estudiantes.pdf
Pasos para enviar una tarea en SIANET - sólo estudiantes.pdfNELLYKATTY
 
IMPLICACIONES BIOÉTICAS ANTE EL TRANSHUMANISMO A PARTIR DEL PENSAMIENTO FILOS...
IMPLICACIONES BIOÉTICAS ANTE EL TRANSHUMANISMO A PARTIR DEL PENSAMIENTO FILOS...IMPLICACIONES BIOÉTICAS ANTE EL TRANSHUMANISMO A PARTIR DEL PENSAMIENTO FILOS...
IMPLICACIONES BIOÉTICAS ANTE EL TRANSHUMANISMO A PARTIR DEL PENSAMIENTO FILOS...Andrés Canale
 
Época colonial: vestimenta, costumbres y juegos de la época
Época colonial: vestimenta, costumbres y juegos de la épocaÉpoca colonial: vestimenta, costumbres y juegos de la época
Época colonial: vestimenta, costumbres y juegos de la épocacecifranco1981
 
RESPONSABILIDAD SOCIAL EN LAS ORGANIZACIONES (4).pdf
RESPONSABILIDAD SOCIAL EN LAS ORGANIZACIONES (4).pdfRESPONSABILIDAD SOCIAL EN LAS ORGANIZACIONES (4).pdf
RESPONSABILIDAD SOCIAL EN LAS ORGANIZACIONES (4).pdfANEP - DETP
 
LA GEOMETRÍA Y LOS SISTEMAS ANGULARES, APRENDER LEYENDO LA BIBLIA
LA GEOMETRÍA Y LOS SISTEMAS ANGULARES, APRENDER LEYENDO LA BIBLIALA GEOMETRÍA Y LOS SISTEMAS ANGULARES, APRENDER LEYENDO LA BIBLIA
LA GEOMETRÍA Y LOS SISTEMAS ANGULARES, APRENDER LEYENDO LA BIBLIASandra Mariela Ballón Aguedo
 
CONCLUSIONES DESCRIPTIVAS TIC que ayudaran a tus registrosdocx
CONCLUSIONES DESCRIPTIVAS TIC que ayudaran a tus registrosdocxCONCLUSIONES DESCRIPTIVAS TIC que ayudaran a tus registrosdocx
CONCLUSIONES DESCRIPTIVAS TIC que ayudaran a tus registrosdocxMarlynRocaOnofre
 
Tema Identificar Relaciones y Casos de Uso 19-05-24.pdf
Tema Identificar Relaciones y Casos de Uso 19-05-24.pdfTema Identificar Relaciones y Casos de Uso 19-05-24.pdf
Tema Identificar Relaciones y Casos de Uso 19-05-24.pdfNoe Castillo
 
Vínculo afectivo (labor expositivo de grupo )
Vínculo afectivo (labor expositivo de grupo )Vínculo afectivo (labor expositivo de grupo )
Vínculo afectivo (labor expositivo de grupo )portafoliodigitalyos
 
Cerebelo Anatomía y fisiología Clase presencial
Cerebelo Anatomía y fisiología Clase presencialCerebelo Anatomía y fisiología Clase presencial
Cerebelo Anatomía y fisiología Clase presencialDanita2111
 
LA PRIMERA GUERRA MUNDIAL PARA NIÑOS.pdf
LA PRIMERA GUERRA  MUNDIAL PARA NIÑOS.pdfLA PRIMERA GUERRA  MUNDIAL PARA NIÑOS.pdf
LA PRIMERA GUERRA MUNDIAL PARA NIÑOS.pdfFEDERICOPEDRODIONISI
 
METODOS DE EXTRACCIÓN E IDENTIFICACIÓN - 2024.pdf
METODOS DE EXTRACCIÓN E IDENTIFICACIÓN - 2024.pdfMETODOS DE EXTRACCIÓN E IDENTIFICACIÓN - 2024.pdf
METODOS DE EXTRACCIÓN E IDENTIFICACIÓN - 2024.pdfNilssaRojas1
 
4ª SESION la misión santificadora del Espíritu Santo en la vida de la Iglesi...
4ª SESION  la misión santificadora del Espíritu Santo en la vida de la Iglesi...4ª SESION  la misión santificadora del Espíritu Santo en la vida de la Iglesi...
4ª SESION la misión santificadora del Espíritu Santo en la vida de la Iglesi...Reneeavia
 
cuadernillo_cuentos_de_los_valores_elprofe20 (1).docx
cuadernillo_cuentos_de_los_valores_elprofe20 (1).docxcuadernillo_cuentos_de_los_valores_elprofe20 (1).docx
cuadernillo_cuentos_de_los_valores_elprofe20 (1).docxANDREAGRACEDURANSALA
 
Resumen Acuerdo 05 04 24.pdf por el que se rigen los Consejos Técnicos Escolares
Resumen Acuerdo 05 04 24.pdf por el que se rigen los Consejos Técnicos EscolaresResumen Acuerdo 05 04 24.pdf por el que se rigen los Consejos Técnicos Escolares
Resumen Acuerdo 05 04 24.pdf por el que se rigen los Consejos Técnicos EscolaresLluviaAliciaHernande
 
a propósito de la globalización y sus efectos
a propósito de la globalización y sus efectosa propósito de la globalización y sus efectos
a propósito de la globalización y sus efectossubfabian
 
Seguridad y virus informáticos 12°B 2024
Seguridad y virus informáticos 12°B 2024Seguridad y virus informáticos 12°B 2024
Seguridad y virus informáticos 12°B 2024sergeycrastz06
 

Último (20)

Pasos para enviar una tarea en SIANET - sólo estudiantes.pdf
Pasos para enviar una tarea en SIANET - sólo estudiantes.pdfPasos para enviar una tarea en SIANET - sólo estudiantes.pdf
Pasos para enviar una tarea en SIANET - sólo estudiantes.pdf
 
IMPLICACIONES BIOÉTICAS ANTE EL TRANSHUMANISMO A PARTIR DEL PENSAMIENTO FILOS...
IMPLICACIONES BIOÉTICAS ANTE EL TRANSHUMANISMO A PARTIR DEL PENSAMIENTO FILOS...IMPLICACIONES BIOÉTICAS ANTE EL TRANSHUMANISMO A PARTIR DEL PENSAMIENTO FILOS...
IMPLICACIONES BIOÉTICAS ANTE EL TRANSHUMANISMO A PARTIR DEL PENSAMIENTO FILOS...
 
Época colonial: vestimenta, costumbres y juegos de la época
Época colonial: vestimenta, costumbres y juegos de la épocaÉpoca colonial: vestimenta, costumbres y juegos de la época
Época colonial: vestimenta, costumbres y juegos de la época
 
RESPONSABILIDAD SOCIAL EN LAS ORGANIZACIONES (4).pdf
RESPONSABILIDAD SOCIAL EN LAS ORGANIZACIONES (4).pdfRESPONSABILIDAD SOCIAL EN LAS ORGANIZACIONES (4).pdf
RESPONSABILIDAD SOCIAL EN LAS ORGANIZACIONES (4).pdf
 
LA GEOMETRÍA Y LOS SISTEMAS ANGULARES, APRENDER LEYENDO LA BIBLIA
LA GEOMETRÍA Y LOS SISTEMAS ANGULARES, APRENDER LEYENDO LA BIBLIALA GEOMETRÍA Y LOS SISTEMAS ANGULARES, APRENDER LEYENDO LA BIBLIA
LA GEOMETRÍA Y LOS SISTEMAS ANGULARES, APRENDER LEYENDO LA BIBLIA
 
CONCLUSIONES DESCRIPTIVAS TIC que ayudaran a tus registrosdocx
CONCLUSIONES DESCRIPTIVAS TIC que ayudaran a tus registrosdocxCONCLUSIONES DESCRIPTIVAS TIC que ayudaran a tus registrosdocx
CONCLUSIONES DESCRIPTIVAS TIC que ayudaran a tus registrosdocx
 
La historia de la vida estudiantil a 102 años de la fundación de las Normales...
La historia de la vida estudiantil a 102 años de la fundación de las Normales...La historia de la vida estudiantil a 102 años de la fundación de las Normales...
La historia de la vida estudiantil a 102 años de la fundación de las Normales...
 
Tema Identificar Relaciones y Casos de Uso 19-05-24.pdf
Tema Identificar Relaciones y Casos de Uso 19-05-24.pdfTema Identificar Relaciones y Casos de Uso 19-05-24.pdf
Tema Identificar Relaciones y Casos de Uso 19-05-24.pdf
 
TRABAJO CON TRES O MAS FRACCIONES PARA NIÑOS
TRABAJO CON TRES O MAS FRACCIONES PARA NIÑOSTRABAJO CON TRES O MAS FRACCIONES PARA NIÑOS
TRABAJO CON TRES O MAS FRACCIONES PARA NIÑOS
 
Vínculo afectivo (labor expositivo de grupo )
Vínculo afectivo (labor expositivo de grupo )Vínculo afectivo (labor expositivo de grupo )
Vínculo afectivo (labor expositivo de grupo )
 
Cerebelo Anatomía y fisiología Clase presencial
Cerebelo Anatomía y fisiología Clase presencialCerebelo Anatomía y fisiología Clase presencial
Cerebelo Anatomía y fisiología Clase presencial
 
LA PRIMERA GUERRA MUNDIAL PARA NIÑOS.pdf
LA PRIMERA GUERRA  MUNDIAL PARA NIÑOS.pdfLA PRIMERA GUERRA  MUNDIAL PARA NIÑOS.pdf
LA PRIMERA GUERRA MUNDIAL PARA NIÑOS.pdf
 
METODOS DE EXTRACCIÓN E IDENTIFICACIÓN - 2024.pdf
METODOS DE EXTRACCIÓN E IDENTIFICACIÓN - 2024.pdfMETODOS DE EXTRACCIÓN E IDENTIFICACIÓN - 2024.pdf
METODOS DE EXTRACCIÓN E IDENTIFICACIÓN - 2024.pdf
 
4ª SESION la misión santificadora del Espíritu Santo en la vida de la Iglesi...
4ª SESION  la misión santificadora del Espíritu Santo en la vida de la Iglesi...4ª SESION  la misión santificadora del Espíritu Santo en la vida de la Iglesi...
4ª SESION la misión santificadora del Espíritu Santo en la vida de la Iglesi...
 
cuadernillo_cuentos_de_los_valores_elprofe20 (1).docx
cuadernillo_cuentos_de_los_valores_elprofe20 (1).docxcuadernillo_cuentos_de_los_valores_elprofe20 (1).docx
cuadernillo_cuentos_de_los_valores_elprofe20 (1).docx
 
Resumen Acuerdo 05 04 24.pdf por el que se rigen los Consejos Técnicos Escolares
Resumen Acuerdo 05 04 24.pdf por el que se rigen los Consejos Técnicos EscolaresResumen Acuerdo 05 04 24.pdf por el que se rigen los Consejos Técnicos Escolares
Resumen Acuerdo 05 04 24.pdf por el que se rigen los Consejos Técnicos Escolares
 
Power Point : Motivados por la esperanza
Power Point : Motivados por la esperanzaPower Point : Motivados por la esperanza
Power Point : Motivados por la esperanza
 
a propósito de la globalización y sus efectos
a propósito de la globalización y sus efectosa propósito de la globalización y sus efectos
a propósito de la globalización y sus efectos
 
Sesión de clase: Luz desde el santuario.pdf
Sesión de clase: Luz desde el santuario.pdfSesión de clase: Luz desde el santuario.pdf
Sesión de clase: Luz desde el santuario.pdf
 
Seguridad y virus informáticos 12°B 2024
Seguridad y virus informáticos 12°B 2024Seguridad y virus informáticos 12°B 2024
Seguridad y virus informáticos 12°B 2024
 

Neocognitron

  • 1. INSTITUTO POLITÉCNICO NACIONAL ESCUELA SUPERIOR DE CÓMPUTO MATERIA: Redes Neuronales Artificiales II. PROFESOR : M. En C. José Luis Calderón Osorno. EQUIPO : o Maldonado Orduño Jessie. o Martínez Correa Jesús. o Munguía Solache Martha. o Ruíz Hidalgo Héctor Alejandro. FECHA : 11 de Junio de 2002.
  • 2. Introducción : Arquitecturas como las de propagación hacia atrás, tienden a tener aplicabilidad general. Se puede utilizar el mismo tipo de red para distintas aplicaciones, cambiando el tamaño de la red, sus parámetros y conjuntos de entrenamiento. Los creadores del neocognitrón, propusieron formular una arquitectura adaptada a una aplicación concreta : el reconocimiento de caracteres escritos a mano. Este sistema posee una aplicación práctica muy amplia ya que a juzgar por las introducciones de algunos de sus artículos, Kuniko Fukushima y sus colaboradores parecen estar más interesados en desarrollar un modelo del cerebro. Con este objetivo, su diseño se basó en el trabajo seminal desarrollado por Hubel y Weisel, que aclaraba parte de la arquitectura funcional de la corteza visual. La figura 1 muestra las vías principales seguidas por las neuronas en su camino de vuelta hacía la zona del cerebro conocida con el nombre de corteza visual, estriada o también llamada zona 17. El nervio óptico está formado por los axones de ciertas células nerviosas denominadas ganglios retinales. Los ganglios son estimulados indirectamente por los conos y bastoncillos sensibles a la luz a través de varias neuronas intermedias. Figura 1. Vías visuales que van desde el ojo hasta la corteza visual primaria. Hubel y Weisel iniciaron el desarrollo de una técnica para discernir el funcionamiento de las células nerviosas del sistema visual, empleando micro
  • 3. electrodos para registrar respuestas de neuronas individuales de la corteza cuando se estimulaba la retina mediante la luz. Aplicando distintas tramas y formas determinaron el estimulo concreto al cual era más sensible la neurona. Los ganglios retinales y las células del núcleo geniculado lateral parecen tener campos de percepción circulares, por lo que responden con mayor intensidad a manchas circulares de luz de un cierto tamaño y en una cierta zona de la retina. La parte de la retina que estimula una célula ganglionar se denomina campo receptivo del ganglio, algunos de ellos producen una respuesta excitatoria frente a manchas luminosas situadas en posición central y una respuesta inhibitoria frente a manchas luminosas mayores y más difuminadas. Estos campos tienen una respuesta características del tipo centro activado y periferia desactivada, aunque existen otros campos que tienen características opuestas. La corteza visual está formada de seis capas de neuronas, la mayoría de las neuronas del LGN terminan en células de la capa IV y tienen campos perceptivos con simetría circular, como los ganglios retinales y las células del LGN. La respuesta característica de las células empieza a tener complejidad creciente. La células de la capa IV llegan a un grupo de células que están directamente sobre ellas y se denominan células simples. Estas responden a los segmentos de líneas que tengan una orientación concreta. A su vez, las células simples tienen acceso a otras células llamadas células complejas. Estas células responden a líneas con la misma orientación que sus células simples correspondientes, aunque tienden a integrar su respuesta en un campo receptivo más extenso. Las células complejas son menos sensibles a la posición de la línea en la retina que las células simples. Algunas células complejas son sensibles a segmentos de línea de una cierta orientación que se estén moviendo en una dirección particular. Las células de diferentes capas del área 17 llegan a distintas posiciones del cerebro, como las células de las capas II y III tienen acceso a células de las áreas 18 y 19, stas áreas contienen células llamadas células hipercomplejas que responden a líneas que formen ángulos o esquinas y que se desplacen en distintas direcciones del capo receptivo. La imagen que surge de estudios es la de una jerarquía de células cuya respuesta características es cada vez más complicada. No es difícil extrapolar esta idea de jerarquía hasta llegar a una en la cual se produce mayor abstracción de datos en niveles cada vez más altos. El diseño del neocognitrón adopta esta estructura jerarquica en una arquitectura por capas, según se ilustra en la figura 2.
  • 4. Figura 2. Estructura jerárquica del neocognitrón. El neocognitrón es un buen ejemplo de la forma en que unos resultados neurobiológicos se pueden emplear para desarrollar una nueva arquitectura de red. 1. Arquitectura del neocognitrón El diseño del neocognitrón evolucionó a partir de un modelo anterior llamado cognitrón, y existen varias versiones del neocognitrón en sí. Una de ellas tiene nueve capas de PE, incluyendo la capa de la retina. El sistema ha sido diseñado para reconocer los números del 0 al 9, independientemente del lugar en que se encuentren dentro del campo de visión de la retina. Además la rede tienen un alto grado de tolerancia frente a distorsiones del carácter, y es relativamente insensible al tamaño del carácter. Esta arquitectura tiene solamente conexiones hacia delante. Descripción Funcional Los PE del neocognitrón están organizados en módulos llamados NIVELES. En la figura 1 se muestra un único nivel.
  • 5. Figura 3. Se muestra un único nivel de un neocognitrón. Cada nivel consta de dos capas y cada capa consta de un cierto número de planos. Los planos contienen los PE en una distribución rectangular. Cada nivel consta de dos CAPAS: una de células sencillas (células S) y otra de células complejas (células C). Cada capa, a su vez, está dividida en un cierto número de PLANOS, cada uno de los cuales consta de una distribución rectangular de PE. Para un nivel dado, la capa S y la capa C pueden tener o no el mismo número de planos. Todos los planos de una capa dada tendrán el mismo número de PE; pero el número de PE de los planos A puede ser distinto del número de PE de los planos C del mismo nivel. Se construye una red completa combinando una capa de3 entrada llamada RETINA, con un cierto número de niveles de forma jerárquica. Deseamos resaltar que no hay nada, en principio, que establezca unos límites para el tamaño de la red en términos del número de niveles. La estrategia de interconexión es distinta de la de aquéllas redes que están totalmente interconectadas entre capas, como la Backpropagation. La figura 2 muestra una representación esquemática de la forma en que están conectadas las células en el neocognitrón.
  • 6. Figura 4. Representación esquemática de la estrategia de interconexión del neocognitrón. A) En el primer nivel, cada unidad S recibe conexiones de entrada procedentes de una pequeña región de la retina. B) En niveles intermedios, cada unidad de un plano S recibe conexiones de entrada procedentes de posiciones correspondientes de todos los planos C que haya en el nivel anterior. Cada capa de células sencillas actúa como un sistema de extracción de características que emplea la capa precedente como capa de entrada. En la primera capa S, las células de cada plano son sensibles a características sencillas de la retina: a segmentos de líneas con distintos ángulos de orientación. Todas las células S de un mismo plano son sensibles a la misma característica, pero en distintas posiciones dentro de la capa de entrada. Las células S de distintos planos responden a distintas características. Las células S van respondiendo a características cuyos niveles de abstracción son cada vez más elevados. Las células C integran las respuestas de grupos de células S. Como cada célula S está buscado la misma característica en una posición diferente, la respuesta de la célula C es menos sensible a la posición exacta de la característica dentro de la capa de entrada. Este comportamiento es lo que da al neocognitrón la capacidad para identificar caracteres independientemente de su posición exacta dentro del campo de la retina. Cuando llega el momento en que se alcanza la capa final de células C, el campo receptivo efectivo de todas las células esto da la retina, como se muestra en la figura 3:
  • 7. Figura 5 Forma en la que el neocognitrón desempeña su función de reconocimiento de caracteres Los pesos de las conexiones con células S se determinan mediante un proceso que se describirán más adelante. A diferencia de muchas otras arquitecturas de redes (como la backpropagation), en las cuales cada unidad tiene un vector de pesos distinto, todas las células S de un mismo plano comparten un mismo vector de pesos. Compartir pesos de esta manera significa que todas las células S de un plano dado responden exactamente a la misma característica en sus campos receptivos tal como se había indicado. Además sólo se necesita entrenar una célula S de cada plano, y distribuir después los pesos resultantes a las demás células. Los pesos de las conexiones que van a células C no son modificables, en el sentido de que no están determinados mediante un proceso de entrenamiento. Todos los pesos de células C suelen ser determinados ajustándolos a la arquitectura específica de la res. Al igual que sucede con los planos S, todas las células de un mismo plano C comparten los mismo s pesos. Además, en algunas realizaciones, todos los planos C de una cierta capa comparten los mismos pesos. 2. Procesamiento de datos en el neocognitrón En esta sección se describirán los distintos algoritmos de procesamiento de las células del neocognitrón. Se examinará primero el procesamiento de datos de las células S, incluyendo el método empleado para entrenar la red. Después se describirá el procesamiento de la capa C. 2.1 Procesamiento de la capa S Nos centraremos primero en las células de un único plano de U Sl, según se indica en la Figura 7. Supondremos que la capa de retina, U0, es una matriz de 19 por 19 pixels. Por tanto, cada plano de USl tendrá una matriz de 19 por 19 células. Cada plano barre toda la retina en busca de una cierta característica. Tal como se indica
  • 8. en la figura, cada célula del plano está buscando exactamente la misma característica, pero en una posición diferente de la retina. Cada célula S recibe conexiones de entrada procedentes de una matriz de 3 x 3 pixels de la retina. El campo receptivo de cada una de las células S corresponde a la matriz 3 por 3 que está centrada en el pixel que corresponde a la posición de la célula dentro del plano. Figura 7. La retina, que es la capa U0, es una matriz de 19 por 19 pixels, rodeada por pixels inactivos para tener en cuenta los efectos de bordes. Se muestra uno de los planos S, junto con una indicación de las regiones de la retina que son barridas por cada célula individual. Hay un plano de células VC asociado a cada capa S del sistema. Estas células reciben conexiones de entrada procedentes del mismo campo receptivo que las células S que se encuentran en posiciones correspondientes del plano. Cuando se está construyendo o simulando esta red, es preciso tener en cuenta los efectos de bordes. Si se rodea la retina activa con pixels inactivos (salidas que siempre están puestas a cero), entonces se pueden tener en cuenta automática- mente las células cuyos campos de vista estén centrados en pixels situados en el borde. Las células S circundantes pueden barrer la distribución que es la retina estando desplazadas un pixel unas respecto a otras. De esta manera, se barre la
  • 9. imagen entera de izquierda a derecha y desde arriba hasta abajo, mediante las células de cada uno de los planos S. La capa S tiene asociado un único plano de células VC, según se indica en la Figura 7. El plano V contiene el mismo número de células que cada uno de los planos S. Las células VC tienen los mismos campos receptivos que las células S situadas en las posiciones correspondientes del plano. La salida de una célula V C va a una sola célula S de todos los planos de la capa. Las células S que reciben entradas de una cierta célula VC son aquellas que ocupan una posición en el plano que corresponde a la posición de la célula VC. La salida de la célula VC tiene un efecto inhibitorio sobre las células S. La Figura 8 muestra los detalles de una sola célula S junto con su correspondiente célula inhibitoria. Figura 8. Se muestra una única célula S y la célula inhibitoria correspondiente dentro de la capa US1. Cada una de las unidades recibe las mismas nueve entradas procedentes de la capa de la retina. Los pesos ai la célula S determinan la característica a la cual es sensible la célula. Tanto los pesos ai que están en las conexiones procedentes de la retina como el peso b procedente de las células V c son modificables, y se determinan empleando un proceso de entrenamiento. Hasta el momento, hemos estado describiendo la primera capa S, en la cual las células reciben conexiones de entrada procedentes de un único plano (la retina, en este caso) situado en la capa anterior. Para lo que sigue, generalizaremos nuestra discusión para incluir el caso de capas más profundas de la red en las
  • 10. cuales una célula S recibirá conexiones de entrada procedentes de todos los planos de la capa C anterior. Sea el índice kl, que se refiere al k-ésimo plano del nivel l. Se puede rotular cada celda de un cierto plano mediante un vector bidimensional, en donde n indica su posición dentro del plano, entonces, haremos que el vector v se refiera a la posición relativa de una célula dentro de la capa anterior que se encuentre en el campo receptivo de la unidad n. Con estas definiciones, se puede escribir la ecuación siguiente para la salida de cualquier célula S:  Kl -1  1 + ∑ ∑ a l (k l-1 , v, k l ) · U Cl -1 (k l -1 , n + v)  U Sl (kl, n) = rl ·φ  kl -1=1 v ∈ − 1 (1)  r   1 + l b l (k l ) · VCl (n)   1 + rl  en donde la función φ es una función umbral lineal dada por x x≥0 (2) φ ( x) = { 0 x<0 Se ha utilizado la flotación del punto para indicar la multiplicación ordinaria en la Ecuación (1), con objeto de hacer más legible la expresión. Vamos a diseccionar estas ecuaciones con cierto detalle. La suma interna de la Ecuación (1) es el conocido cálculo de suma de productos, de las entradas, UCl-1(kl-1, n + v), por los pesos, al(kl-1, v, kl). La suma se extiende a todas las unidades de la capa C anterior que yazcan en el campo receptivo de la unidad n. Estas unidades se han indicado mediante el vector n + v. Como vamos a suponer que todos los pesos y todos los valores de salida son no negativos, el cálculo de la suma de productos produce una medida del grado de coincidencia de la trama de entrada y el vector de pesos de una cierta unidad. Se denota el campo receptivo mediante Al, indicando que la geometría del campo receptivo es la misma para todas las unidades de una cierta capa. La suma exterior de la Ecuación (1) se extiende a los Kl-1 planos de la capa C precedente. En el caso de US1 no habría necesidad de hacer esta suma exterior. El producto bl(kl) ⋅ VCl(n), que se encuentra en el denominador de la Ecuación (1), representa la contribución inhibitoria de la célula VC. El parámetro rl, en donde 0 ≤ rl ≤ ∞, determina la selectividad de la célula con respecto a una trama específica. El factor rl /( 1 + rl) va desde cero hasta 1 a medida que r l va desde cero hasta infinito. Por tanto, para valores pequeños de rl, el denominador de la Ecuación (1) podría ser relativamente pequeño en comparación con el numerador, aun en el caso de que la trama de entrada no coincidiese exactamente con el vector de pesos. Esta situación podría dar lugar a un argumento positivo para la función φ. Si rl, fuera grande, entonces la coincidencia entre la trama de entrada y los pesos
  • 11. del numerador de la Ecuación (1) tendría que ser más exacta para superar los efectos inhibitorios de la entrada de la célula V C. Obsérvese también que este parámetro rl aparece como factor multiplicativo de la función φ. Si rl es pequeño, y la selectividad de la célula es pequeña, este factor asegura que la salida de la célula en sí no pueda hacerse demasiado grande. Se puede visualizar la misión de rl de otra manera. Se reescribe el argumento de la función que aparece en la Ecuación (1) en la forma e - [ rl /(l + rl )]h 1 + [rl /(l + rl )]h en dónde e es el término excitatorio neto y h es el término inhibitorio neto. De acuerdo con la Ecuación (2), la salida de la célula S será no nula sólo en el caso de que rl e− h>0 1 + rl o bien e r > l h 1 + rl Por tanto, la magnitud rl determina la intensidad de excitación relativa mínima frente a la inhibición que dará lugar a una salida no nula de la unidad. A medida que aumenta rl, r l /(1 + rl) → 1. Por tanto, un valor mayor de rl requiere una excitación más grande en relación con la inhibición para obtener una salida no nula. Aunque no se ha dicho nada acerca de normalizar el vector de entrada o los pesos, se podría añadir esta condición al diseño de nuestro sistema. Entonces se podría hablar de proximidad en términos del ángulo existente entre los vectores de entrada y de pesos. Obsérvese que ninguna de las expresiones de los pesos al(kl-1, v, kl) ni bl(kl) depende explícitamente de la posición n de la célula. Recuérdese que las células de un plano comparten los mismos pesos, incluso los pesos bl(kl), que no hemos discutido anteriormente. Ahora es preciso especificar la salida de los nodos inhibitorios. La célula V C que está en la posición n tiene el siguiente valor en su salida: Kl -1 VCl (n) = ∑ ∑ c (v) · U kl-1=1 v ∈ l 2 Cl -1 (k l-1 , n + v) (3)
  • 12. en donde cl(v) es el peso de la conexión que procede de una célula situada en la posición v del campo receptivo de la célula VC. Estos pesos no son sometidos a entrenamiento. Pueden adoptar la forma de cualquier función normalizada que decrezca monótonamente a medida que aumenta la magnitud de v. Una de estas funciones es 1 r '( v ) cl (v) = al (4) C (l ) en donde r'(v) es la distancia normalizada entre la célula situada en la posición v y el centro del campo receptivo, y a1 es una constante menor que 1 que determina la rapidez de atenuación al aumentar la distancia. El factor C(l) es una constante de normalización: Kl -1 ∑ ∑a r '( v ) C (l ) = l (5) kl-1=1 v ∈ La condición para que los pesos se normalicen puede expresarse en la forma Kl-1 ∑ ∑ c (v) = 1 kl -1=1 v ∈ l (6) lo cual cumplen las Ecuaciones (4) y (5). La forma de la función cl(v) afecta también a la selectividad de tramas de las células S, favoreciendo aquellas tramas que están situadas en posición central dentro del campo receptivo. De esta manera, tanto las entradas excitatorias como las inhibitorias serán más intensas si la trama de entrada está situada centralmente en el campo receptivo de la célula. La forma particular de la Ecuación (3) es una raíz cuadrática media ponderada de las entradas de la célula VC. Volviendo a la Ecuación (1), se puede apreciar que en las células S la entrada excitatoria neta que llega a la célula se está comparando con una medida de la señal de entrada media. Si la razón de la entrada excitatoria neta a la entrada inhibitoria neta es mayor que 1 la célula tendrá una salida positiva. 2.2 Entrenamiento de pesos de las capas S Hay varios métodos diferentes para entrenar los pesos del neocognitrón. El mé- todo que detallaremos aquí es un algoritmo de aprendizaje sin supervisión di- señado por los creadores del neocognitrón original. Al final de esta sección mencionaremos unas cuantas alternativas para esta aproximación. Aprendizaje sin supervisión. En principio, el entrenamiento se desarrolla igual que para muchas otras redes. En primer lugar, se presenta una trama de entrada en la capa de entrada y se propagan los datos por la red. Después, se permite que los pesos hagan ajustes progresivos de acuerdo con el algoritmo especificado. Una vez que se ha procedido a las actualizaciones de los pesos, se presenta una
  • 13. nueva trama en la capa de entrada, y el proceso se repite para todas las tramas del conjunto de entrenamiento hasta que la red esté clasificando correctamente las tramas de entrada. En el neocognitrón, los pesos compartidos en un plano dado significan que sólo una célula de cada plano necesita participar en el proceso de aprendizaje. Una vez que los pesos han sido actualizados, se puede distribuir una copia del nuevo vector de pesos a las otras células del mismo plano. Para entender la forma en que funciona esto, se puede pensar que es como silos planos s de una capa dada estuvieran apilados verticalmente uno encima de otro, alineados de tal forma que las células de posiciones correspondientes estuvieran precisamente una encima de otra. Ahora se pueden imaginar múltiples columnas superpuestas que corren perpendicularmente a la pila. Estas columnas definen grupos de células S, en las cuales todos los miembros de cada grupo tienen los campos receptivos aproximadamente en la misma posición de la capa de entrada. Tenido este modelo, se aplica una trama de entrada y se examina la respuesta de las células S de cada columna. Para asegurar que cada célula S produzca una respuesta nítida, se pueden dar a los pesos al unos valores pequeños, positivos y aleatorios. Los pesos bl de las conexiones inhibitorias pueden recibir unos valores iniciales nulos. Primero se anota el plano y la posición de la célula S cuya respuesta sea la más fuerte de cada columna. Después se examinan los planos individuales, de tal manera que si un plano contiene dos o más de estas células S, se desprecian todas las células S salvo la que responda con más intensidad. De esta manera se localizará la célula S de cada plano cuya respuesta sea la más intensa, con la condición de que cada una de estas células tiene que estar en una columna diferente. Esas células S pasan a ser los prototipos o representantes de todas las células de sus planos respectivos. De forma similar, la célula V C cuya respuesta sea la más intensa será seleccionada como representante de las demás células del plano VC. Una vez que se han seleccionado los representantes, se lleva a cabo la actua- lización de pesos de acuerdo con las siguientes ecuaciones: ∆al (k l −1 , v, k l ) = ql C l −1 (v)U Cl −1 (k l −1 , n + v) (8) ∆bl (k l ) = q lVCl −1 (n) (9) en donde ql es el parámetro de rapidez de aprendizaje, cl-1(v) es la función mo- nótona decreciente que se describía en la sección anterior, y la posición del re- presentante del plano kl es ñ. Obsérvese que los incrementos más grandes de los pesos se producen en aquellas conexiones que tienen la mayor señal de entrada, UCl-1(kl-1, ñ + v). Dado que la célula S cuyos pesos están siendo modificados era la que tenía la salida más grande, este algoritmo de aprendizaje está construyendo una cierta forma de
  • 14. aprendizaje de Hebb. Obsérvese también que los pesos sólo pueden aumentar, y que no hay una cota superior para los valores de los pesos. La forma de la Ecuación (1) para la salida de la célula S garantiza que el valor de salida seguirá siendo finito, incluso para grandes valores de los pesos. Una vez que las células de un plano dado empiezan a responder a una cierta característica, tienden a responder menos a otras características. Una vez trans- currido un tiempo breve, cada plano habrá desarrollado una respuesta fuerte a una característica concreta. Además, a medida que se va examinando la red con más profundidad, los planos van a ir respondiendo a características cada vez más complejas. Otros métodos de aprendizaje. Los diseñadores del neocognitrón original sabían a qué características deseaban que respondiera cada nivel, y cada plano dentro de cada nivel. En estas circunstancias, se puede desarrollar un conjunto de vectores de entrenamiento para cada capa, y las capas se pueden entrenar independientemente. La Figura 9 muestra las tramas de entrenamiento que se emplearon para entrenar los 38 planos de la segunda capa del neocognitrón que se mostrara anteriormente en la 4. También es posible seleccionar por anticipado la célula representativa de cada plano. Es preciso tener cuidado, sin embargo, para asegurarse de que la trama de entrada sea presentada en la posición correcta con respecto al campo receptivo del representante. Una vez más, se precisa un cierto conocimiento por anticipado de las características deseadas. Figura 9. Esta figura muestra las cuatro tramas que se emplearon para entrenar a todos y cada uno de los 38 planos de la capa Us2 del neocognitrón diseñado para
  • 15. reconocer los números del 0 al 9. Los paréntesis cuadrados indican agrupamientos de planos S cuyas conexiones de salida convergen en un mismo plano C de la capa siguiente. Suponiendo que los vectores de peso y los de entrada estén normalizados, se pueden hacer las actualizaciones de peso de las células representantes em- pleando el me-todo descrito en el Capítulo 6 para capas competitivas. Para rea- lizar este método, lo que se haría básicamente es rotar ligeramente el vector de pesos existente en la dirección del vector de entrada. Se necesitaría multiplicar primero el vector de entrada por la función monótona decreciente y renormalizar. 2.3 Procesamiento en la capa C Las funciones que describen el procesamiento de la capa C son de forma similar a las correspondientes a las células S. También como la capa S, cada capa C tiene asociada a ella un único plano de unidades inhibitorias que se comportan de manera similar a las células VC de la capa S. La salida de estas unidades se denota en la forma VSl(n). En general, las unidades de un plano C dado reciben conexiones de entrada procedentes de un plano S, o todo lo más de un pequeño número de ellos, si- tuados en la capa anterior. Las células VS reciben conexiones de entrada proce- dentes de todos los planos s de la capa anterior. La salida de una célula C viene dada por  Kl-1  1 + ∑ jl (κ l , k l ) ∑d l (v) · U Sl-1 (k 1 , n + v)  U Cl (kl, n) = Ψ −1 kl-1=1 v ∈Dl (10)  1 + VS (n)      en donde Kl es el número de planos S que hay en el nivel l; jl(κl, kl) es uno o cero dependiendo de si el plano S κl está o no conectado con el plano Ckl, dl(v) es el peso de la conexión existente entre la célula S situada en la posición y del campo receptivo de la célula C y Dl define la geometría del campo receptivo de la célula C. La función Ψ está definida por x x≥0 Ψ ( x) = { β + x (11) 0 x<0 en donde β es una constante. La salida de las células VS está dada por
  • 16. Kl-1 1 VSl (n) = Kl ∑ ∑U kl -1=1 v ∈Dl Sl -1 (k 1 , n + v) ·d l (v) (12) Los pesos dl(v) son valores fijos cuya forma general es la misma que los cl(v) descritos en la sección anterior, aunque Menon y Heinemann han dado a conocer resultados satisfactorios si dl(v) es un valor uniforme a lo largo de todo el campo receptivo. Obsérvese la ausencia de pesos en la conexión procedente de la célula S, según indica el denominador de la Ecuación (10). Además, sustitúyase la Ecuación (12) en la (10) y se observará el parecido entre el numerador y el denominador del primer término que aparece entre corchetes. La Ecuación (12) indica que la célula VS está calculando el valor medio de la entrada para todos los planos S. En ese caso, la Ecuación (10) puede tener un valor no nulo sólo si la respuesta excitatoria de la célula C es mayor que la media. Este comportamiento es similar al de las células S, aunque la medida de la media es distinta en cada caso. En resumen, sólo un cierto porcentaje de células s y células c de cada nivel responde con un valor de salida positivo. Se trata de aquellas células cuyo nivel de excitación supera al de las células medias. 3. Rendimiento del Neocognitrón: En la figura 10 se muestra una respuesta típica de las células del neocognitrón de nueve capas entrenado para reconocer números escritos a mano entre cero y nueve (0 – 9), en concreto cuando se le presenta el número 2. Cuando los datos se han propagado hasta la capa final, solo hay dos células que estén dando una respuesta, la que corresponde al número 2 es la que mostrará la respuesta más intensa. La figura 11 muestra algunos ejemplos de números que fueron reconocidos con éxito. En la figura 12 hay un ejemplo de trama que da lugar a una respuesta completamente ambigua por parte del neocognitrón, posteriormente se describirá el método para la solución de tramas tales como las de la figura 12.
  • 17. Figura 10. El número 2 aparece en la retina del neocognitrón, se marca cada uno de los planos de la estructura. Figura 11. Ejemplos de números reconocidos exitosamente por el neocognitrón. 4.Adición de inhibición lateral y de realimentación al Neocognitron. El ejemplo visto anteriormente nos genera dos problemas. El primero consiste en resolver la ambigüedad para que la red tome una decisión clara. La segunda consiste en hacer que la red reconozca e identifique las dos tramas que están presentes en la retina.
  • 18. Se puede conseguir que la red se decida por una de las dos tramas añadiendo una inhibición lateral entre células vecinas de la capa. Si cada célula inhibe a otras células, entonces las pequeñas diferencias de respuesta se irán amplificando con el paso del tiempo, consiguiendo una célula ganadora. El segundo problema se puede resolver añadiendo vías de realimentación a la red, junto con otros dispositivos, tales como controles de ganancia en las células y condiciones de umbral variables. Siguiendo este procedimiento inicial, se envían señales hacia atrás, en dirección a la retina, a través de otros planos de células, llamadas células ws y células wc. Durante el proceso de propagación hacia delante, sólo permanecen activas algunas células c y algunas células s. Estas células controlan las vías de realimentación de tal manera que las señales de realimentación retrocedan por el mismo camino a través de la red, en dirección a la retina. Para hacer que la red reconozca la segunda trama que esta presente en la retina, lo único que se necesita es interrumpir momentáneamente las señales de realimentación. Esta acción da lugar a que disminuya la ganancia de todas las células c activas, como si se fatigasen. Como resultado, pueden responder otras células que estuviesen inactivas anteriormente, y se establecerá una segunda resonancia allí donde sea identificada la segunda trama en la última capa de la red.