Redes Neurais Artificiais - Modelos e suas implementações

1

Redes Neurais Artiﬁciais
Modelos e suas implementações

Guilherme Polo

2

Sumário
• Introdução a Redes Neurais Artificiais

• Neurônio artificial

• Redes de Hopfield

• Mapas Auto Organizáveis de Kohonen

• Vantagens e desvantagens dos modelos

• Bibliografia

3

Introdução a Redes Neurais Artiﬁciais
• Abstração das redes neurais biológicas

• Características:

• Processamento paralelo

• Tolerância a falhas

• Aprendizagem e Generalização a partir de experiências

4

 


 







 
 
 





 
 








 
 

Ilustração neurônio biológico
Mariana Ruiz Villarreal

5

Neurônio artiﬁcial

Dendritos Núcleo Axônio

e0 p0

... ! f saída ..

en pn

n
sa´ = f
ıda (ei pi )
i=0

6

Neurônio artiﬁcial

Dendritos Núcleo Axônio

e0 p0

... ! f saída ..

en pn
Exemplos para f (x):
n
x , sin(x) , cos(x),
sa´ = f
ıda (ei pi ) tanh(x), sgn(x) ,
i=0 (x−b)2 ,
1
ae 2c2 1 + e−kx

7

Redes de Hopﬁeld
• Desenvolvido em 1982 por ..

• Ligação com a biologia: Memória
Auto-associativa

• Característica principais:

• Recorrência

• Simetria
John J. Hopﬁeld
• Não faz uso de camadas
escondidas

8

Redes de Hopﬁeld
• Usos principais:

• Reconstrução de padrões

• Segmentação de imagens

9

Redes de Hopﬁeld



10

Redes de Hopﬁeld



11

Redes de Hopﬁeld



12

Redes de Hopﬁeld



13

Redes de Hopﬁeld
• Funcionamento:

• Síncrono: Todos neurônios avaliam suas entradas e
produzem saídas ao mesmo tempo

• Assíncrono: Um neurônio é selecionado aleatoriamente,
avalia sua entrada e produz uma saída

• Convergência:

• Simetria + Funcionamento Assíncrono - Laços

14

Redes de Hopﬁeld
• Representação com 3 neurônios:

Saída após
convergência

B

Neurônios

A C

Entradas

15

Redes de Hopﬁeld
• Implementação para caso discreto e bipolar:

• Sinais de entrada: -1 ou 1

• Função de ativação: sgn(x)

• Aprendizagem :)
 p
 1
κv κv
i j se i = j
wij = N v=1

0 se i = j

16

Redes de Hopﬁeld
• Implementação para caso discreto e bipolar:

• Sinais de entrada: -1 ou 1

• Função de ativação: sgn(x)

• Aprendizagem

• Execução: repeat
i = RANDOM(N )
N
saida i = sgn wij × saidaj
j=0,j=i
until sistema estabilizar

17

Mapas Auto Organizáveis de Kohonen
• Desenvolvido em 1982 por ..

• Segue princípio da formação de
mapas topográﬁcos

• Exemplos de uso:

• Visualização de dados
n-dimensionais

• Pré-processamento de padrões Teuvo Kohonen
para reconhecimento

• Mineração de dados

18


• Características principais:

• Treinamento por aprendizagem competitiva

• Comumente realiza classiﬁcação não supervisionada

• Não faz uso de camadas escondidas

19

• Formando um mapa auto organizável:

1. Inicializar pesos sinápticos

2. Realizar processo de competição

3. Determinar vizinhança topológica

4. Aplicar processo adaptativo

5. Voltar para o passo 2 se ainda
estiver treinando

20


Ex.: Um peso em (0, 0, 0), demais em (1, 1, 1)




estiver treinando

21


Ex.: Padrão de entrada (0, 0, 0)


• Apresentar entrada à rede
Entrada


estiver treinando

22


w = argmin entrada − pi (t) , i = 0 . . . n
1. Inicializar pesos sinápticos i


• Determinar neurônio vencedor (w)
Entrada


estiver treinando

23



2. Realizar processo de competição Vencedor


Entrada

estiver treinando

24



2. Realizar processo de competição Vencedor


Entrada

estiver treinando

25





Entrada

estiver treinando

26






estiver treinando

27

• Determinação de vizinhança

• Função comumente utilizada para escolha de vizinhança:

lw −li 2
− 2σ 2 (t)
hwi (t) = α(t)e

27



lw −li 2
− 2σ 2 (t)
tempo discreto hwi (t) = α(t)e

27



lw −li 2
− 2σ 2 (t)

taxa de aprendizagem (0, 1)

27



lw −li 2
− 2σ 2 (t)

t
α(t) = 0.9 1 − , t < Niter
Niter

27



lw −li 2
− 2σ 2 (t)

raio da região
t
α(t) = 0.9 1 − , t < Niter
Niter

27



lw −li 2
− 2σ 2 (t)

raio da região
taxa de aprendizagem (0, 1) t
σ(t) = R 1 − + 1 , t < Niter
t Niter
α(t) = 0.9 1 − , t < Niter
Niter

27



lw −li 2
− 2σ 2 (t)
tempo discreto hwi (t) = α(t)e posição do nó

raio da região
taxa de aprendizagem (0, 1) t
σ(t) = R 1 − + 1 , t < Niter
t Niter
α(t) = 0.9 1 − , t < Niter
Niter

28

• Ajustando pesos no processo adaptativo

pi (t + 1) = pi (t) + hwi (t)(entrada − pi (t))

• Quando parar de treinar ?

• Teuvo Kohonen (por volta de):

• 1000 iterações para ordenar

• Para acurácia estatística, pelo menos 500n

29

• Exemplo:

• Treinar para reconhecer os padrões

30

• Exemplo:

• Treinar para reconhecer os padrões

34

Vantagens e Desvantagens dos modelos
• Redes de Hopﬁeld:

Simples de implementar

Capacidade de armazenamento baixo:

N
Pmax ≈
2 ln N

35

Vantagens e Desvantagens dos modelos
• Mapas auto organizáveis:

Podem ser treinadas rapidamente

Treinamento é computacionalmente leve (Kohonen)

Requer informações a nível global

36

Referências
• de Wilde, P. (1997). Neural Network Models. Springer.

• Haykin, S. (2000). Redes Neurais – Princípios e Práticas. Bookman.

• Hopﬁeld, J. J. (1982). Neural networks and physical systems with emergent collective
computational abilities. Proceedings of the National Academy of Sciences of the United States of
America.

• Kohonen, T. (1982). Self-organized formation of topologically correct feature maps.
Biological Cybernetics.

• Kohonen, T. (2000). Self-Organizing Maps. Springer.

• Priddy, K. L. and Keller, P. E. (2005). Artiﬁcial neural networks: an introduction. SPIE Publications.

• Zupan, J. and Gasteiger, J. (1999). Neural Networks in Chemistry and Drug Design. Wiley-VCH.

Redes Neurais Artificiais - Modelos e suas implementações

Recomendados

Recomendados

Más contenido relacionado

Destacado

Destacado (20)

Último

Último (6)

Redes Neurais Artificiais - Modelos e suas implementações

Notas del editor