Red neuronal Perceptron para función OR

1. PERCEPTRON
JAFH

2. Objetivo
Clasificar objetos

3. Casos de clasificación

4. Redes neuronales artificiales
McCulloc y Pitts, dideñan la primera red
neuronal en 1943.

5. Perceptron Rosenblatt 1958

6. Características
 Aprendizaje supervisado
 Representación binaria
 Una sola capa
 Actúa como clasificador
 Generador de funciones booleanas

7. Caso lineal
Minsky y Papert en 1969 muestran que
la red perceptron puede resolver
problemas linealmente separables

8. Objetivo perceptron
w1*x1+w2*x2=-w0
Encontrar la
frontera que divide
las dos clases.
Es decir encontrar
la ecuación de la
recta

9. Perceptron
Muestra p=(x1,x2,..,xn)
Entradas=(1,x1,x2,..,xn)
Pesos=(w0,..,wn)
Bias w0=-θ
Activación net= wt * x
Propagación y=f(net)
1 si net>=0
0 si net<0f(net)

10. Aprendizaje
1. Tomamos unos pesos (w) iniciales
aleatorios,
2. Calculamos la salida de la red,
3. Comparamos la salida actual con la salida
deseada,
4. Ajustamos pesos,
5. Iteramos hasta lograr la salida deseada o un
aproximado

11. Notación de Iteraciones
En k-esima iteración
Pesos w(k)
Activación net(k)
Salida generada y(k)
Salida deseada d
Error e(k) =d-y(k)
Ajustar pesos en cada
iteración

12. Ajuste de pesos en cada iteración
Si e(k) =0 fin
En caso contrario
Caso 1 e(k) =1, cuando d=1 , y(k) =0
Caso 2 e(k) =-1, cuando d=0 , y(k) =1

13. Ajuste de pesos
Caso 1 e(k) =1, tenemos nx
Caso 2 e(k) =-1, tenemos –nx
Es decir tenemos: n * e(k) * x
Con n un factor de aprendizaje
Así:
w(k+1) = w(k) +n* e(k) * x

14. Formula de Ajuste de pesos
Así:
w(k+1) = w(k) +n* e(k) * x

15. Algoritmo
Entrada xi , yi
Salida vector de pesos w
Inicio
k=0
inicializar w(k), n
repetir
para cada (xi,yi) hacer
yi
(k)=f(w(k)’*xi)
ei
(k) =di-yi
(k)
actualizar w(k+1) = w(k) +n* ei
(k) * xi
siguiente
k=k+1
hasta que ||(ei
(k-1)) ||<Є
fin

16. Ejemplo compuerta OR
P=muestras
0 0 1 1
0 1 0 1
P= 0 1 1 1d=
salidas
p1 p2 or
0 0 0
0 1 1
1 0 1
1 1 1

17. Red
Σ
1
p1
p2
w0
w1
w2
f(net)
ynet

18. Entradas
1 1 1 1
0 0 1 1
0 1 0 1
=
1
p
x=
Función de red
net(k)=w(k)*x
0 0 0W(0)= 0 1 1 1d=
Pesos iniciales Salida esperada
Factor de aprendizaje n=1

19. net(0)=w(0)*x
1 1 1 1
0 0 1 1
0 1 0 1
0 0 0W(0)*x= = 0 0 0 0
Iteración 0
Salidas
y(0)=f(net(0))= 1 1 1 1
e(0)=d-y(0)= 0 1 1 1 1 1 1 1- = -1 0 0 0
Error

20. w(k+1)=w(k)+n*e(k)*x’
-1 0 0 00 0 0w(1)= = -1 0 0 0
Iteración 1 – ajuste de pesos
+ 1* *
1 0 0
1 0 1
1 1 0
1 1 1

21. Código en Scilab
function y=f_decision(net)
n=length(net)
y=zeros(n);
for i=1:n
if net(i)>=0 then
y(i)=1;
else
y(i)=-1;
end
end
Endfunction

22. function grafica_sol()
////////////GRAFICA PUNTOS///////
tmp=x';
a1=tmp(:,2);
a2=tmp(:,3);
for i=1:4
plot(a1,a2,'Ob');
end
//solucion en //2x1+2x2-1=0 //x2=(-2x2+1)/-2
x1=linspace(-0.1,1.1,100);
for i=1:100
x3(i)=(-1+2*x1(i))/-2;
end
plot(x1,x3,'g');
endfunction

23. function grafica_aprox(w)
//plot w0+w1x1+w2x2
//x2=-(w0+w1x1)/w2
if w(3)<>0 then
printf("iteracion %fn, grafica %f pesos:",i,j);
j=j+1;
w
for i=1:100
x2(i)=(-1)*(w(1)+w(2)*x1(i))/w(3);
end
plot(x1,x2,'r');
end
endfunction

24. //////////////////////////////////////////////
//clear
x=[1 1 1 1;0 0 1 1 ;0 1 0 1];
w=[0 0 0];
d=[0 1 1 1];
fa=1;
grafica_sol()

25. x=[1 1 1 1;0 0 1 1 ;0 1 0 1];
w=[0 0 0];
d=[0 1 1 1];
fa=1;
grafica_sol()
//iteraciones
j=1;
x1=linspace(-0.1,1.1,100);
for i=1:9
net=(w*x);
y=f_decision(net);
e=d-y';
w=w+e*x';
grafica_aprox(w);
////////////////////////////
end

26. Pesos finales
-1 4 4W(6)=

27. Adaptative Lineal Network
 Red neuronal

29. Referencias
 http://equipe.nce.ufrj.br/adriano/rna/Apresen
tacoes/02PerceAda/PerceAda_handout.pdf