Redes Neuronales
 ( El Perceptron)
Redes Neuronales
                 ( El Perceptron)

 Definición: Primer modelo de red neuronal
    artificial desarrollado por Rosemblat en 1958.
    Consta de un numero arbitrario de Capaz.
   El Perceptron Simple (P.S):Es un modelo
    unidireccional, compuesto por dos capas de
    neuronas, una sensorial o de entrada y otra de
    salida. La operación de una red de este tipo con
    “n” neuronas de entrada (Unidades de
    Procesamiento (U.P) y “m” de salida y su modo
    de entrenamiento es de tipo supervisado
El Perceptron


Arquitectura del Perceptron
El Perceptron


       El computo que ejecuta el perceptron es:
                                          n
                             yi (t ) = f (∑ wij x j ± u )
                                         j= 1
:
       Donde:
     yi (t ) : Es la salida de la i-esima U.P
    wij : Es el peso sináptico correspondiente a la j-esima
         entrada de la i-esima U.P
    x j : Es la componente j-esima del patrón de entrada
    u : : Representa un valor umbral
El Perceptron

       Regla de aprendizaje del Perceptron
    Determinar los pesos Sinápticos para que el
  dispositivo represente la relación entrada-salida lo
  mas fidedigna posible. La regla de aprendizaje
  permite corregir los pesos sinápticos para que
  alcancen los valore deseado, partiendo de un
  conjunto de pesos inicializados aleatoriamente.

                  δ wij = λ (ζ i − si ) x j
 λ : Regula la velocidad de aprendizaje (0≤ λ ≤1)
ζ : Es la componente i-esima del patrón de salida
   deseado
El Perceptron

Dinámica del perceptron
  El funcionamiento para ejecutar un patrón de la red es el
 siguiente:
  1. Se establece el patrón de entrada en los sensores, la
 capa de entrada.
 2. Se actualizan las neuronas de la capa de Salida.
  Las neuronas de actualizan de la siguiente manera:
 Sea el potencial de la neurona i,
 El peso asociado a la sinapsis que une la neurona i de la
 capa actual
 y j de la capa de sensores.
 El estado del sensor j
 Entonces
 Y el estado de la neurona es o bien la función escalón si las
 entradas de la red son binarias o bien la función signo si las
 entradas son bipolares {-1 ,1} estado-neurona J= Signo
 ( Sumatorio ( Peso(ij)*Estado(j))
El Perceptron

 Aprendizaje del perceptron
 Los pasos para que la red aprenda una lista de patrones
 son los siguientes
1 Tomar un patrón al azar de la lista.
 2 Se establece el patrón de entrada en los sensores, la
 capa de entrada.
 3 Se establecen los valores deseados en las neuronas
 de la capa de salida
 4 Se actualizan las neuronas de la capa de Salida.
 5 Solicitar que aprendan todas las sinapsis
 6 Si las sinapsis han cambiado volver al paso 1
 Si no han cambiado la red se ha estabilizado y paramos
El Perceptron

   Las sinapsis que une las neuronas i, j aprenderá de la
    siguiente manera:
   Sea
   Ei = el estado de la neurona de la capa de entrada i,
   Pij =
    El peso actual asociado a la sinapsis que une la neurona i
    de la capa de entrada y la neurona j de la capa de salida.
   Ej = El estado de la neurona de la capa de salida j
   Sj = El valor deseado para esa neurona
   Pijnuevo = El peso Pij actualizado.
   TASA =Es una constante entre 0 y 1 que indica cuanto
    aprende la red
El Perceptron


   Pijnuevo = El peso Pij actualizado.
   TASA =Es una constante entre 0 y 1 que indica cuanto
    aprende la red
   Pijnuevo = Pij + Tasa*(( Ej - Sj) *Ei)

           Hay que destacar que el perceptrón aprende solo
    cuando se equivoca al clasificar el patrón. Si clasifica
    correctamente el patrón, esto es , entonces con lo que no
     hay aprendizaje.
El Perceptron - Algoritmo
Leer Numero_de_Patrones:
 Numero_de_Entradas;
 Inicializar Pesos( i );
 Numero de Iteraciones;
1. Repita Hasta hay_error=Falso o Numero de iteraciones>500
   Hay_Error=Falso
   Repita desde patron=1 Hasta Numero_de_Patrones
   Leer Entradas, Leer Salida_Esperada, Neta=0
   Repita desde patron =1 Hasta Numero _de_Entradas
   Neta=Neta+( Pesos( I )* Entradas( I ) ) [Suma Ponderada]
   Neta=Neta+Umbral
   Si Neta ≥0 entonces Salida=1 [Funcion Escalon]
                Sino Salida=0
    Error=Salida_Esperada – Salida
     Si Error<>0 Entonces
        Pesos (i)= Pesos(i) + (Error*Entradas(i))
        Hay_Error=Verdadero
        Umbral=Umbral + Error
         Numero_de_Iteraciones = Numero_de_Iteraciones +1
El Modelo Adaline


Red ADALINE
       Las redes ADALINE (Adaptative Linear Element),
fueron desarrolladas por Bernie Widrow en la
Universidad de Stanford. Dicha red usa neuronas con
función de transferencia escalón, y está limitada a una
única neurona de salida. Su arquitectura es análoga a la
del Perceptron, difiere solo en el uso de otras funciones
de transferencia. El computo que ejecuta el ADALINE
es el siguiente
                         m
             sr = F (∑ rj x j )
                      w
                        j=1
El Modelo Adaline
 Donde F es una función de transferencia continua y
 diferenciable(tipicamente una función Sigmoidea,
 sigmoidea bipolar o la función Lineal)

           Función de Costo y Aprendizaje
Se emplea como función de costo, E(W), la suma de los
 cuadrados de los errores que comete el dispositivo,
 sobre todos los patrones de entrenamiento


  E (ϖ ) = 1 / 2∑ (ζ iu − siu ) 2 = 1 / 2∑ (ζ iu − F (∑ wik xku )) 2
                 iu                     iu             k
El Modelo Adaline

     La función tiende a cero cuando los pesos se hacen
mejores. Esta regla de aprendizaje se conoce como la
regla delta o de Widrow-Hoff o regla LMS (the Least
Mean Squared)

            Arquitectura del ADALINE
GRACIAS POR SU ATENCION

Perceptron parte 1

  • 1.
    Redes Neuronales (El Perceptron)
  • 2.
    Redes Neuronales ( El Perceptron)  Definición: Primer modelo de red neuronal artificial desarrollado por Rosemblat en 1958. Consta de un numero arbitrario de Capaz.  El Perceptron Simple (P.S):Es un modelo unidireccional, compuesto por dos capas de neuronas, una sensorial o de entrada y otra de salida. La operación de una red de este tipo con “n” neuronas de entrada (Unidades de Procesamiento (U.P) y “m” de salida y su modo de entrenamiento es de tipo supervisado
  • 3.
  • 4.
    El Perceptron El computo que ejecuta el perceptron es: n yi (t ) = f (∑ wij x j ± u ) j= 1 : Donde: yi (t ) : Es la salida de la i-esima U.P wij : Es el peso sináptico correspondiente a la j-esima entrada de la i-esima U.P x j : Es la componente j-esima del patrón de entrada u : : Representa un valor umbral
  • 5.
    El Perceptron Regla de aprendizaje del Perceptron Determinar los pesos Sinápticos para que el dispositivo represente la relación entrada-salida lo mas fidedigna posible. La regla de aprendizaje permite corregir los pesos sinápticos para que alcancen los valore deseado, partiendo de un conjunto de pesos inicializados aleatoriamente. δ wij = λ (ζ i − si ) x j λ : Regula la velocidad de aprendizaje (0≤ λ ≤1) ζ : Es la componente i-esima del patrón de salida deseado
  • 6.
    El Perceptron Dinámica delperceptron El funcionamiento para ejecutar un patrón de la red es el siguiente: 1. Se establece el patrón de entrada en los sensores, la capa de entrada. 2. Se actualizan las neuronas de la capa de Salida. Las neuronas de actualizan de la siguiente manera: Sea el potencial de la neurona i, El peso asociado a la sinapsis que une la neurona i de la capa actual y j de la capa de sensores. El estado del sensor j Entonces Y el estado de la neurona es o bien la función escalón si las entradas de la red son binarias o bien la función signo si las entradas son bipolares {-1 ,1} estado-neurona J= Signo ( Sumatorio ( Peso(ij)*Estado(j))
  • 7.
    El Perceptron Aprendizajedel perceptron Los pasos para que la red aprenda una lista de patrones son los siguientes 1 Tomar un patrón al azar de la lista. 2 Se establece el patrón de entrada en los sensores, la capa de entrada. 3 Se establecen los valores deseados en las neuronas de la capa de salida 4 Se actualizan las neuronas de la capa de Salida. 5 Solicitar que aprendan todas las sinapsis 6 Si las sinapsis han cambiado volver al paso 1 Si no han cambiado la red se ha estabilizado y paramos
  • 8.
    El Perceptron  Las sinapsis que une las neuronas i, j aprenderá de la siguiente manera:  Sea  Ei = el estado de la neurona de la capa de entrada i,  Pij = El peso actual asociado a la sinapsis que une la neurona i de la capa de entrada y la neurona j de la capa de salida.  Ej = El estado de la neurona de la capa de salida j  Sj = El valor deseado para esa neurona  Pijnuevo = El peso Pij actualizado.  TASA =Es una constante entre 0 y 1 que indica cuanto aprende la red
  • 9.
    El Perceptron  Pijnuevo = El peso Pij actualizado.  TASA =Es una constante entre 0 y 1 que indica cuanto aprende la red  Pijnuevo = Pij + Tasa*(( Ej - Sj) *Ei) Hay que destacar que el perceptrón aprende solo cuando se equivoca al clasificar el patrón. Si clasifica correctamente el patrón, esto es , entonces con lo que no hay aprendizaje.
  • 10.
    El Perceptron -Algoritmo Leer Numero_de_Patrones: Numero_de_Entradas; Inicializar Pesos( i ); Numero de Iteraciones; 1. Repita Hasta hay_error=Falso o Numero de iteraciones>500 Hay_Error=Falso Repita desde patron=1 Hasta Numero_de_Patrones Leer Entradas, Leer Salida_Esperada, Neta=0 Repita desde patron =1 Hasta Numero _de_Entradas Neta=Neta+( Pesos( I )* Entradas( I ) ) [Suma Ponderada] Neta=Neta+Umbral Si Neta ≥0 entonces Salida=1 [Funcion Escalon] Sino Salida=0 Error=Salida_Esperada – Salida Si Error<>0 Entonces Pesos (i)= Pesos(i) + (Error*Entradas(i)) Hay_Error=Verdadero Umbral=Umbral + Error Numero_de_Iteraciones = Numero_de_Iteraciones +1
  • 11.
    El Modelo Adaline RedADALINE Las redes ADALINE (Adaptative Linear Element), fueron desarrolladas por Bernie Widrow en la Universidad de Stanford. Dicha red usa neuronas con función de transferencia escalón, y está limitada a una única neurona de salida. Su arquitectura es análoga a la del Perceptron, difiere solo en el uso de otras funciones de transferencia. El computo que ejecuta el ADALINE es el siguiente m sr = F (∑ rj x j ) w j=1
  • 12.
    El Modelo Adaline Donde F es una función de transferencia continua y diferenciable(tipicamente una función Sigmoidea, sigmoidea bipolar o la función Lineal) Función de Costo y Aprendizaje Se emplea como función de costo, E(W), la suma de los cuadrados de los errores que comete el dispositivo, sobre todos los patrones de entrenamiento E (ϖ ) = 1 / 2∑ (ζ iu − siu ) 2 = 1 / 2∑ (ζ iu − F (∑ wik xku )) 2 iu iu k
  • 13.
    El Modelo Adaline La función tiende a cero cuando los pesos se hacen mejores. Esta regla de aprendizaje se conoce como la regla delta o de Widrow-Hoff o regla LMS (the Least Mean Squared) Arquitectura del ADALINE
  • 14.