1. Juan Espinoza Bullón
MULTI LAYER PERCEPTRON
(MLP)

2. DIFERENCIAS CLAVE
PERCEPTRON
ADALINE
MLP
Datos
Binarios y/o
polares
Todo número real
Todo número real
Función de
Transferencia
Escalón, Signo
Identidad
Sigmoid
Algoritmo
Algoritmo de
aprendizaje del
Perceptron
Basado en
gradiente
Back Propagation
Error
Se elimina
Se minimiza
Se minimiza
Clasifica
Patrones Lineales
Patrones Lineales
Patrones NO
Lineales
Número de capas
1
1
Una de entrada,
una o más ocultas,
una de salida

3. UTILIDAD
Gracias a su algoritmo y topología puede
clasificar patrones no lineales como los de la
función lógica XOR
Vectors to be Classified
1.5
1
P(2)

0.5
0
-0.5
-0.5
0
0.5
P(1)
1
1.5

4. TOPOLOGÍA DEL MLP

5. UNIDAD MÍNIMA
Perceptron Continuo:
 Emplea una Función de Transferencia
Continua: Sigmoid (Logistic). Otras también
son aceptadas

1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
-10
-8
-6
-4
-2
0
2
4
6
8
10

6. ALGORITMO
Paso 1: Inicializar pesos (valores pequeños)
 Mientras la condición de parada sea falsa,
realizar los pasos del 2 al 9
 Paso 2: Para cada patrón de entrenamiento
realizar los pasos 3 al 8
 FEEDFORWARD:
 Paso3: Cada nodo de entrada (Xi, i=1…n)
recibe una señal xi que transmite a todas las
neuronas de la capa superior (oculta).


7. ALGORITMO

Paso 4: Cada neurona oculta (Zj, j=1…p) suma
sus señales de entrada pesadas
z_inj =v0j+∑xi*vij….desde i=1 hasta i=n
Aplica su función de activación para calcular la
señal de salida
zj=f(z_inj)
Y envía la señal a todas las neuronas de la
capa superior (salida)

8. ALGORITMO

Paso 5: Cada neurona de salida (Yk,
k=1…m) suma sus señales de entrada
pesadas
y_ink =w0k+∑zj*wjk….desde j=1 hasta
j=p
Aplica su función de activación para calcular
la señal de salida
yk=f(y_ink)

9. ALGORITMO
Backpropagation del error:
 Paso 6: Cada neurona de salida (Yk, k=1…m)
recibe un target correspondiente al patrón de
entrada, y calcula su termino de información del
error.
δk=(tk-yk)*f’(y_ink)
Calcula la corrección de sus pesos y bias
∆wjk=α*δkzj, ∆w0k=α*δk
Y envía δk a las neuronas de la capa inferior
(oculta)


10. ALGORITMO
Paso 7: Cada neurona oculta (Zj, j=1…p) suma
sus entradas delta (de la capa superior)
δ_inj= ∑δk*wjk ….desde k=1 hasta k=m
Multiplica por la derivada de su función de
transferencia para calcular su termino de
información del error
δj= δ_inj *f’(z_inj)
Calcula la corrección de sus pesos y bias
∆vij=α*δj*xi, ∆v0j=α*δj


11. ALGORITMO
Actualiza los pesos y biases:
 Paso 8: Cada neurona de salida (Yk,
k=1…m) actualiza sus bias y pesos(j=0…p)
wjk= wjk+∆wjk
Cada neurona oculta (Zj, j=1…p) actualiza
sus bias y pesos(i=0…n)
vij= vij+∆vij
 Paso 9: Evaluación de la condición de
parada


12. FUNCIÓN COSTO

Error a minimizar:
E=1/2∑patrones ∑neuronas de salida (t-y)2