SlideShare una empresa de Scribd logo
1 de 20
Descargar para leer sin conexión
Um Reconhecedor de Padrões Espaço-
 Temporais Inspirado no Neocórtex




          Rafael Coimbra Pinto




                  Universidade Federal do Rio Grande do Sul - 2009/1

                                Orientador: Prof. Paulo Martins Engel
Roteiro
Introdução
Trabalhos Relacionados
  Memory-Prediction Framework (MPF)
  Hierarchical Temporal Memory (HTM)
  Self-Organizing Map (SOM)
  Recurrent Self-Organizing Map (RSOM)
  Par SOM-RSOM
  Hierarchical Quilted Self-Organizing Map (HQSOM)

LoopSOM
HQSOM+
Conclusões
Referências
Introdução
Há a hipótese de que o nosso neocórtex é um
 reconhecedor/classificador hierárquico de
 padrões espaço-temporais
Sabe-se que ele é composto por várias camadas
 similares
Supõe-se que cada camada corresponde a um
 diferente grau de abstração
Analisa características de baixo nível na primeira
 camada (ex.: a primeira camada cortical visual,
 a V1, analisa pequenas linhas)...
...E caractéristicas de alto nível nas camadas
   mais altas, como conceitos abstratos
Trabalhos Relacionados
Memory-Prediction Framework (Hawkins 2005)
  Propõe uma arquitetura geral para a implementação
   de reconhecedores de padrões espaço-temporais
   de forma hierárquica e com base no que se sabe
   do funcionamento do nosso neocórtex
  Existem unidades básicas de processamento, cada
   uma das quais faz exatamente a mesma coisa
  O que muda é a camada e a região dentro de uma
   camada
  Cada unidade classifica suas entradas tanto
   espacialmente como temporalmente
Trabalhos Relacionados
Memory-Prediction Framework (cont...)
  O mundo se move lentamente, portanto certas
   invariâncias podem ser capturadas utilizando-se da
   parte temporal
  Cada unidade envia seus resultados como entradas
   para a próxima camada
Trabalhos Relacionados
           Hierarchical Temporal
            Memory (Hawkins 2006)
             Implementação Bayesiana
               do MPF
             Pode ser vista como uma
              Rede Bayesiana
              Hierárquica com
              propagação de crenças
             Foi aplicada com sucesso
              em algumas tarefas de
              classificação de imagens
             Atualmente não suporta
               aprendizado online
Trabalhos Relacionados

Self-Organizing Map (SOM)
  Classifica e reconhece padrões
  Reduz dimensionalidade
  Preserva topologia do espaço de entrada no espaço
   de saída
  Inspirado no funcionamento do neocórtex (1 camada)
  Abordagem neural e que suporta aprendizado online
   (embora ainda a adaptação automática de
   parâmetros ainda seja um problema em aberto)
Trabalhos Relacionados

Recurrent Self-Organizing Map (RSOM)
  Versão temporal do SOM
  Consegue executar classificação e reconhecimento
   de padrões temporais através de integradores
  Combina resultados passados com atual
  Suas capacidades são relativamente limitadas, mas
   existem outros modelos de mapas auto-
   organizáveis temporais a serem analisados
   futuramente (RecSOM, MSOM, AntSOM, etc...)
  Requer entradas ortogonais entre si para bom
   funcionamento
RSOM
Trabalhos Relacionados

Par SOM-RSOM (Miller 2006)
  Um SOM recebe um sinal de entrada e o classifica
   espacialmente
  As ativações de seus neurônios formam um vetor de
   ativações, que é passado como entrada para um
   RSOM
  O RSOM classifica os vetores de ativação
   temporalmente
  Padrões que aparecem próximos no tempo são
   agrupados, o que trata naturalmente translações,
   rotações, escala, etc...
Trabalhos Relacionados

Hierarchical Quilted Self-Organizing Map
  Vários pares SOM-RSOM organizados
   hierarquicamente
  Os índices dos neurônios vencedores de cada RSOM
   em uma camada são concatenados e enviados
   como entrada para a camada seguinte
  Implementação neural do MPF
  Suporta aprendizado online
  Porém: Relativamente recente e pouco estudado, há
   espaço para melhoramentos
HQSOM
LoopSOM
Processamento temporal do RSOM é usado como
 preditor para o processamento espacial do SOM
Se o SOM fica em dúvida entre 2 ou mais
 neurônios vencedores com ativações similares, a
 predição resolve a ambiguidade
Efetivamente introduz probabilidades a priori não-
 uniformes para cada neurônio do SOM
Experimentos
4 Pontos 2D: {(0,0),
  (0,1), (1,0), (1,1)}
2 Grupos: Esquerda
  {(0,0), (0,1)} e Direita
  {(1,0), (1,1)}
Aprendizado congelado
 depois de formados
 os 2 clusters
Ponto ambíguo:
 (0.5,0.5)
Experimentos
7 Padrões 2D (3x3): 3
  linhas verticais, 3
  linhas horizontais e
  padrão vazio
3 Grupos: Vertical,
  Horizontal e Vazio
Aprendizado congelado
 depois de formados
 os 3 clusters
Padrão ambíguo: cruz
 (+)
Padrões 2D
HQSOM+

Obtido trocando-se os pares SOM-RSOM por
 LoopSOMs no HQSOM original
Obtem-se um ganho geral de robustez no
 modelo completo
Muitos parâmetros para ajuste, requer uma
 análise mais aprofundada futuramente, a fim de
 obter-se resultados mais estáveis (PLSOM?)
Útil como módulo de reconhecimento e
 classificação sensorial de qualquer arquitetura
 mais completa e geral de IA
Experimentos
7 Padrões 2D (5x5): 3
  linhas verticais, 3
  linhas horizontais e
  padrão vazio
3 Grupos: Vertical,
  Horizontal e Vazio
Aprendizado congelado
 depois de formados
 os 3 clusters
Padrão ambíguo: cruz
 (+)
Conclusões

O par SOM-RSOM foi aprimorado através de
 conexões de realimentação, resultando no
 LoopSOM
O LoopSOM foi aplicado no HQSOM com
 relativo sucesso
É necessária uma análise mais profunda do
 ajuste de parâmetros do HQSOM+
Foram feitos experimentos básicos com os novos
 modelos, obtendo-se resultados satisfatórios
Referências
BEHNKE, S.; ROJAS, R. Neural abstraction pyramid: a hierarchical image understanding architecture. In: NEURAL NETWORKS PROCEEDINGS, 1998. IEEE
     WORLD
CONGRESS ON COMPUTATIONAL INTELLIGENCE. THE 1998 IEEE INTERNATIONAL JOINT CONFERENCE ON, 1998. Anais. . . [S.l.: s.n.], 1998. v.2.
BERGLUND, E. Improved PLSOM algorithm. Applied Intelligence, [S.l.], p.1–9, 2009.
BERGLUND, E.; SITTE, J. The parameter-less SOM algorithm. In: ANZIIS, 2003. Proceedings. . . [S.l.: s.n.], 2003. p.159–164.
COHEN, L. An information-processing approach to infant perception and cognition.
The development of sensory, motor, and cognitive capacities in early infancy, [S.l.],p.277–300, 1998.
CRISTIANINI, N.; SHAWE-TAYLOR, J. An introduction to support vector machines.[S.l.]: Cambridge university press, 2000.
DEAN, T. A Computational Model of the Cerebral Cortex. 2005. 938p. v.20, n.2.
ELMAN, J. Finding structure in time. Cognitive science, [S.l.], v.14, n.2, p.179–211,1990.
FOLDIAK, P.; ENDRES, D. Sparse coding. , [S.l.], 2008.
FOLDIAK, P.; YOUNG, M. Sparse coding in the primate cortex. The handbook of braintheory and neural networks, [S.l.], p.895–898, 1995.
FUKUSHIMA, K. Neocognitron: a self-organizing neural network model for a mecha-nism of pattern recognition unaffected by shift in position. Biological Cybernetics,
     [S.l.],v.36, n.4, p.193–202, 1980.
GEORGE, D.; JAROS, B.; INC, N. The HTM learning algorithms. March, [S.l.], v.1,p.2007, 2007.
GUIDE, N. Numenta Platform for Intelligent Computing. , [S.l.], 2008.
GUIMARAES, G. A taxonomy of Self-organizing Maps for temporal sequence processing. Intelligent Data Analysis, [S.l.], v.7, n.4, p.269–290, 2003.
HALL, Y. J.; POPLIN, R. E. Using Numentas hierarchical temporal memory to recognize CAPTCHAs. , [S.l.], 2007.
HAWKINS, J. On Intelligence. [S.l.]: Owl Books, 2005.
HAWKINS, J.; GEORGE, D. Hierarchical Temporal Memory–Concepts, Theory, and Terminology. Whitepaper, Numenta Inc, May, [S.l.], 2006.
KOHONEN, T. Self-organization and associative memory. , [S.l.], 1989.
KOHONEN, T. The self-organizing map. Neurocomputing, [S.l.], v.21, n.1-3, p.1–6, 1998.
KOSKELA, T.; VARSTA, M.; HEIKKONEN, J.; KASKI, K. Temporal sequence processing using recurrent SOM. 1998. v.1.
MILLER, J.; LOMMEL, P. Biomimetic sensory abstraction using hierarchical quilted self-organizing maps. In: SPIE, 2006. Proceedings. . . [S.l.: s.n.], 2006. v.6384,
     p.63840A.
MINSKY, M.; PAPERT, S. Perceptrons: an introduction to computational geometry. [S.l.]: MIT press Cambridge, Mass, 1969.
PINTO, R.; ENGEL, P. LoopSOM: a robust som variant using self-organizing temporal feedback connections. In: TO APPEAR ON PROCEEDINGS OF THE VIII
     ENIA - BRAZILIAN MEETING ON ARTIFICIAL INTELLIGENCE, 2009. Anais. . . [S.l.: s.n.], 2009.
RIEDMILLER, M.; BRAUN, H. A direct adaptive method for faster backpropagation learning: the rprop algorithm. In: IN PROCEEDINGS OF THE IEEE
     INTERNATIONAL
CONFERENCE ON NEURAL NETWORKS, 1993. Anais. . . [S.l.: s.n.], 1993.
RIESENHUBER, M.; POGGIO, T. Hierarchical models of object recognition in cortex. nature neuroscience, [S.l.], v.2, p.1019–1025, 1999.
SWARUP, S.; LAKKARAJU, K.; KLEMENTIEV, A.; RAY, S.; SASSEN, E.;
MUNCHEN, G. An anticipatory self-organized map for robust recognition. In: IASTED
INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND APPLICATIONS (AIA’05), INNSBRUCK, AUSTRIA, 2005. Proceedings. . . [S.l.: s.n.],
     2005.
SWARUP, S.; LAKKARAJU, K.; SMITH, N.; RAY, S. A Recurrent Anticipatory Self-Organized Map for Robust Time Series Prediction. In: THE WORKSHOP ON
     SELF-
ORGANIZING MAPS (WSOM), PARIS, FRANCE, SEP 5-8, 2005., 2005. Anais. . .[S.l.: s.n.], 2005.
THORNTON, J.; GUSTAFSSON, T.; BLUMENSTEIN, M.; HINE, T. Robust Character Recognition Using a Hierarchical Bayesian Network. Lecture Notes in
     Computer Science, [S.l.], v.4304, p.1259, 2006.
VOEGTLIN, T. Recursive self-organizing maps. Neural Networks, [S.l.], v.15, n.8-9, p.979–991, 2002.

Más contenido relacionado

Destacado

Dependencia de drogas minicurso bio07
Dependencia de drogas minicurso bio07Dependencia de drogas minicurso bio07
Dependencia de drogas minicurso bio07gesicerebro
 
As bases neurais da emoção e da razão
As bases neurais da emoção e da razãoAs bases neurais da emoção e da razão
As bases neurais da emoção e da razãolafunirg
 
C:\Fakepath\Espectro Obsessivo Compulsivo
C:\Fakepath\Espectro Obsessivo CompulsivoC:\Fakepath\Espectro Obsessivo Compulsivo
C:\Fakepath\Espectro Obsessivo Compulsivoygoraf
 
Neurociência para profissionais de marketing aula 5 - neuromarketing b
Neurociência para profissionais de marketing   aula 5 - neuromarketing bNeurociência para profissionais de marketing   aula 5 - neuromarketing b
Neurociência para profissionais de marketing aula 5 - neuromarketing bBilly Nascimento
 
Neurociência para profissionais de marketing aula 3 - atenção e engajamento
Neurociência para profissionais de marketing   aula 3 - atenção e engajamentoNeurociência para profissionais de marketing   aula 3 - atenção e engajamento
Neurociência para profissionais de marketing aula 3 - atenção e engajamentoBilly Nascimento
 
Aula de sistema limbico reduzida foa
Aula de sistema limbico reduzida   foaAula de sistema limbico reduzida   foa
Aula de sistema limbico reduzida foaSilvyo Giffoni
 
O cérebro e a função da linguagem
O cérebro e a função da linguagem O cérebro e a função da linguagem
O cérebro e a função da linguagem Gisele Cortoni Calia
 
áReas encefálicas relacionadas com a emoção
áReas encefálicas relacionadas com a emoçãoáReas encefálicas relacionadas com a emoção
áReas encefálicas relacionadas com a emoçãoOlavo Valente
 

Destacado (20)

Linguagem características gerais
Linguagem   características geraisLinguagem   características gerais
Linguagem características gerais
 
Dependencia de drogas minicurso bio07
Dependencia de drogas minicurso bio07Dependencia de drogas minicurso bio07
Dependencia de drogas minicurso bio07
 
Fisiopatologia do córtex cerebral
Fisiopatologia do córtex cerebralFisiopatologia do córtex cerebral
Fisiopatologia do córtex cerebral
 
As bases neurais da emoção e da razão
As bases neurais da emoção e da razãoAs bases neurais da emoção e da razão
As bases neurais da emoção e da razão
 
Os grupos
Os gruposOs grupos
Os grupos
 
Processos conativos
Processos conativosProcessos conativos
Processos conativos
 
Freud 8
Freud 8Freud 8
Freud 8
 
Raízes da vinculação
Raízes da vinculaçãoRaízes da vinculação
Raízes da vinculação
 
Perceção e gestalt
Perceção e gestaltPerceção e gestalt
Perceção e gestalt
 
C:\Fakepath\Espectro Obsessivo Compulsivo
C:\Fakepath\Espectro Obsessivo CompulsivoC:\Fakepath\Espectro Obsessivo Compulsivo
C:\Fakepath\Espectro Obsessivo Compulsivo
 
Neurociência para profissionais de marketing aula 5 - neuromarketing b
Neurociência para profissionais de marketing   aula 5 - neuromarketing bNeurociência para profissionais de marketing   aula 5 - neuromarketing b
Neurociência para profissionais de marketing aula 5 - neuromarketing b
 
Neurociência para profissionais de marketing aula 3 - atenção e engajamento
Neurociência para profissionais de marketing   aula 3 - atenção e engajamentoNeurociência para profissionais de marketing   aula 3 - atenção e engajamento
Neurociência para profissionais de marketing aula 3 - atenção e engajamento
 
Maslow e a motivação
Maslow e a motivaçãoMaslow e a motivação
Maslow e a motivação
 
Neuroplasticidade
NeuroplasticidadeNeuroplasticidade
Neuroplasticidade
 
Perturbações da vinculação
Perturbações da vinculaçãoPerturbações da vinculação
Perturbações da vinculação
 
Tipos de aprendizagem
Tipos de aprendizagemTipos de aprendizagem
Tipos de aprendizagem
 
O sistema nervoso
O sistema nervosoO sistema nervoso
O sistema nervoso
 
Aula de sistema limbico reduzida foa
Aula de sistema limbico reduzida   foaAula de sistema limbico reduzida   foa
Aula de sistema limbico reduzida foa
 
O cérebro e a função da linguagem
O cérebro e a função da linguagem O cérebro e a função da linguagem
O cérebro e a função da linguagem
 
áReas encefálicas relacionadas com a emoção
áReas encefálicas relacionadas com a emoçãoáReas encefálicas relacionadas com a emoção
áReas encefálicas relacionadas com a emoção
 

Similar a Um Reconhecedor de Padrões Espaço-Temporais Inspirado no Neocórtex

Aprendizado Profundo & CNNs
Aprendizado Profundo & CNNsAprendizado Profundo & CNNs
Aprendizado Profundo & CNNsFabio Spanhol
 
Classificação não supervisionada - Kohonen
Classificação não supervisionada - KohonenClassificação não supervisionada - Kohonen
Classificação não supervisionada - KohonenAndré Andrade
 
Prof. Dr. Fabrício Härter
Prof. Dr. Fabrício HärterProf. Dr. Fabrício Härter
Prof. Dr. Fabrício HärterDafmet Ufpel
 
Visitando a literatura em redes neurais recorrentes
Visitando a literatura em redes neurais recorrentesVisitando a literatura em redes neurais recorrentes
Visitando a literatura em redes neurais recorrentesDiogenes Freitas
 
Redes neurais e lógica fuzzy
Redes neurais e lógica fuzzyRedes neurais e lógica fuzzy
Redes neurais e lógica fuzzyRenato Ximenes
 
Introdução às Redes Neurais - Parte 1/2
Introdução às Redes Neurais - Parte 1/2Introdução às Redes Neurais - Parte 1/2
Introdução às Redes Neurais - Parte 1/2Bruno Catão
 
Introdução a Deep Learning
Introdução a Deep LearningIntrodução a Deep Learning
Introdução a Deep LearningCristian Muñoz
 
topico_4.3_redes_RBF.pdf
topico_4.3_redes_RBF.pdftopico_4.3_redes_RBF.pdf
topico_4.3_redes_RBF.pdfDenicaLima
 
[Jose Ahirton Lopes] Deep Learning - Uma Abordagem Visual
[Jose Ahirton Lopes] Deep Learning - Uma Abordagem Visual[Jose Ahirton Lopes] Deep Learning - Uma Abordagem Visual
[Jose Ahirton Lopes] Deep Learning - Uma Abordagem VisualAhirton Lopes
 
[Jose Ahirton Lopes] Deep Learning - Uma Abordagem Visual
[Jose Ahirton Lopes] Deep Learning - Uma Abordagem Visual[Jose Ahirton Lopes] Deep Learning - Uma Abordagem Visual
[Jose Ahirton Lopes] Deep Learning - Uma Abordagem VisualAhirton Lopes
 
[Ahirton Lopes e Rafael Arevalo] Deep Learning - Uma Abordagem Visual
[Ahirton Lopes e Rafael Arevalo] Deep Learning - Uma Abordagem Visual[Ahirton Lopes e Rafael Arevalo] Deep Learning - Uma Abordagem Visual
[Ahirton Lopes e Rafael Arevalo] Deep Learning - Uma Abordagem VisualAhirton Lopes
 
Aplicação das Redes Neuronais Artificiais do software STATISTICA 7.0: O caso ...
Aplicação das Redes Neuronais Artificiais do software STATISTICA 7.0: O caso ...Aplicação das Redes Neuronais Artificiais do software STATISTICA 7.0: O caso ...
Aplicação das Redes Neuronais Artificiais do software STATISTICA 7.0: O caso ...Ricardo Brasil
 
Capitulo 3 redes neurais artificiais
Capitulo 3   redes neurais artificiaisCapitulo 3   redes neurais artificiais
Capitulo 3 redes neurais artificiaisVânia Moura
 
Inteligência Artificial by Peter Norvig, Stuart Russell (z-lib.org).pdf
Inteligência Artificial by Peter Norvig, Stuart Russell (z-lib.org).pdfInteligência Artificial by Peter Norvig, Stuart Russell (z-lib.org).pdf
Inteligência Artificial by Peter Norvig, Stuart Russell (z-lib.org).pdfRodrigoLuis21
 
Apresentacao-LSTM.pdf
Apresentacao-LSTM.pdfApresentacao-LSTM.pdf
Apresentacao-LSTM.pdfssuser821b0f
 
Classificação de padrões usando redes neurais
Classificação de padrões usando redes neuraisClassificação de padrões usando redes neurais
Classificação de padrões usando redes neuraisWanderson Rocha
 
Armazenamento, Indexação e Recuperação de Informação
Armazenamento, Indexação e Recuperação de InformaçãoArmazenamento, Indexação e Recuperação de Informação
Armazenamento, Indexação e Recuperação de InformaçãoMário Monteiro
 
[Jose Ahirton lopes] Do Big ao Better Data
[Jose Ahirton lopes] Do Big ao Better Data[Jose Ahirton lopes] Do Big ao Better Data
[Jose Ahirton lopes] Do Big ao Better DataAhirton Lopes
 

Similar a Um Reconhecedor de Padrões Espaço-Temporais Inspirado no Neocórtex (18)

Aprendizado Profundo & CNNs
Aprendizado Profundo & CNNsAprendizado Profundo & CNNs
Aprendizado Profundo & CNNs
 
Classificação não supervisionada - Kohonen
Classificação não supervisionada - KohonenClassificação não supervisionada - Kohonen
Classificação não supervisionada - Kohonen
 
Prof. Dr. Fabrício Härter
Prof. Dr. Fabrício HärterProf. Dr. Fabrício Härter
Prof. Dr. Fabrício Härter
 
Visitando a literatura em redes neurais recorrentes
Visitando a literatura em redes neurais recorrentesVisitando a literatura em redes neurais recorrentes
Visitando a literatura em redes neurais recorrentes
 
Redes neurais e lógica fuzzy
Redes neurais e lógica fuzzyRedes neurais e lógica fuzzy
Redes neurais e lógica fuzzy
 
Introdução às Redes Neurais - Parte 1/2
Introdução às Redes Neurais - Parte 1/2Introdução às Redes Neurais - Parte 1/2
Introdução às Redes Neurais - Parte 1/2
 
Introdução a Deep Learning
Introdução a Deep LearningIntrodução a Deep Learning
Introdução a Deep Learning
 
topico_4.3_redes_RBF.pdf
topico_4.3_redes_RBF.pdftopico_4.3_redes_RBF.pdf
topico_4.3_redes_RBF.pdf
 
[Jose Ahirton Lopes] Deep Learning - Uma Abordagem Visual
[Jose Ahirton Lopes] Deep Learning - Uma Abordagem Visual[Jose Ahirton Lopes] Deep Learning - Uma Abordagem Visual
[Jose Ahirton Lopes] Deep Learning - Uma Abordagem Visual
 
[Jose Ahirton Lopes] Deep Learning - Uma Abordagem Visual
[Jose Ahirton Lopes] Deep Learning - Uma Abordagem Visual[Jose Ahirton Lopes] Deep Learning - Uma Abordagem Visual
[Jose Ahirton Lopes] Deep Learning - Uma Abordagem Visual
 
[Ahirton Lopes e Rafael Arevalo] Deep Learning - Uma Abordagem Visual
[Ahirton Lopes e Rafael Arevalo] Deep Learning - Uma Abordagem Visual[Ahirton Lopes e Rafael Arevalo] Deep Learning - Uma Abordagem Visual
[Ahirton Lopes e Rafael Arevalo] Deep Learning - Uma Abordagem Visual
 
Aplicação das Redes Neuronais Artificiais do software STATISTICA 7.0: O caso ...
Aplicação das Redes Neuronais Artificiais do software STATISTICA 7.0: O caso ...Aplicação das Redes Neuronais Artificiais do software STATISTICA 7.0: O caso ...
Aplicação das Redes Neuronais Artificiais do software STATISTICA 7.0: O caso ...
 
Capitulo 3 redes neurais artificiais
Capitulo 3   redes neurais artificiaisCapitulo 3   redes neurais artificiais
Capitulo 3 redes neurais artificiais
 
Inteligência Artificial by Peter Norvig, Stuart Russell (z-lib.org).pdf
Inteligência Artificial by Peter Norvig, Stuart Russell (z-lib.org).pdfInteligência Artificial by Peter Norvig, Stuart Russell (z-lib.org).pdf
Inteligência Artificial by Peter Norvig, Stuart Russell (z-lib.org).pdf
 
Apresentacao-LSTM.pdf
Apresentacao-LSTM.pdfApresentacao-LSTM.pdf
Apresentacao-LSTM.pdf
 
Classificação de padrões usando redes neurais
Classificação de padrões usando redes neuraisClassificação de padrões usando redes neurais
Classificação de padrões usando redes neurais
 
Armazenamento, Indexação e Recuperação de Informação
Armazenamento, Indexação e Recuperação de InformaçãoArmazenamento, Indexação e Recuperação de Informação
Armazenamento, Indexação e Recuperação de Informação
 
[Jose Ahirton lopes] Do Big ao Better Data
[Jose Ahirton lopes] Do Big ao Better Data[Jose Ahirton lopes] Do Big ao Better Data
[Jose Ahirton lopes] Do Big ao Better Data
 

Más de Rafael Pinto

Inteligência Artificial - Aula15 - Algoritmos Genéticos
Inteligência Artificial - Aula15 - Algoritmos GenéticosInteligência Artificial - Aula15 - Algoritmos Genéticos
Inteligência Artificial - Aula15 - Algoritmos GenéticosRafael Pinto
 
Inteligência Artificial - Aula5 - PageRank
Inteligência Artificial - Aula5  - PageRankInteligência Artificial - Aula5  - PageRank
Inteligência Artificial - Aula5 - PageRankRafael Pinto
 
Inteligência Artificial - Aula2 - Busca em Grafos
Inteligência Artificial - Aula2 - Busca em GrafosInteligência Artificial - Aula2 - Busca em Grafos
Inteligência Artificial - Aula2 - Busca em GrafosRafael Pinto
 
Inteligência Artificial - Aula1 intro
Inteligência Artificial - Aula1 introInteligência Artificial - Aula1 intro
Inteligência Artificial - Aula1 introRafael Pinto
 
Online Incremental One-Shot Learning of Temporal Sequences (Portuguese)
Online Incremental One-Shot Learning of Temporal Sequences (Portuguese)Online Incremental One-Shot Learning of Temporal Sequences (Portuguese)
Online Incremental One-Shot Learning of Temporal Sequences (Portuguese)Rafael Pinto
 
Neuroevolução com o algoritmo NEAT e suas Extensões
Neuroevolução com o algoritmo NEAT e suas ExtensõesNeuroevolução com o algoritmo NEAT e suas Extensões
Neuroevolução com o algoritmo NEAT e suas ExtensõesRafael Pinto
 

Más de Rafael Pinto (8)

Deep Learning
Deep LearningDeep Learning
Deep Learning
 
Inteligência Artificial - Aula15 - Algoritmos Genéticos
Inteligência Artificial - Aula15 - Algoritmos GenéticosInteligência Artificial - Aula15 - Algoritmos Genéticos
Inteligência Artificial - Aula15 - Algoritmos Genéticos
 
Inteligência Artificial - Aula5 - PageRank
Inteligência Artificial - Aula5  - PageRankInteligência Artificial - Aula5  - PageRank
Inteligência Artificial - Aula5 - PageRank
 
Inteligência Artificial - Aula2 - Busca em Grafos
Inteligência Artificial - Aula2 - Busca em GrafosInteligência Artificial - Aula2 - Busca em Grafos
Inteligência Artificial - Aula2 - Busca em Grafos
 
Inteligência Artificial - Aula1 intro
Inteligência Artificial - Aula1 introInteligência Artificial - Aula1 intro
Inteligência Artificial - Aula1 intro
 
Ratslam
RatslamRatslam
Ratslam
 
Online Incremental One-Shot Learning of Temporal Sequences (Portuguese)
Online Incremental One-Shot Learning of Temporal Sequences (Portuguese)Online Incremental One-Shot Learning of Temporal Sequences (Portuguese)
Online Incremental One-Shot Learning of Temporal Sequences (Portuguese)
 
Neuroevolução com o algoritmo NEAT e suas Extensões
Neuroevolução com o algoritmo NEAT e suas ExtensõesNeuroevolução com o algoritmo NEAT e suas Extensões
Neuroevolução com o algoritmo NEAT e suas Extensões
 

Um Reconhecedor de Padrões Espaço-Temporais Inspirado no Neocórtex

  • 1. Um Reconhecedor de Padrões Espaço- Temporais Inspirado no Neocórtex Rafael Coimbra Pinto Universidade Federal do Rio Grande do Sul - 2009/1 Orientador: Prof. Paulo Martins Engel
  • 2. Roteiro Introdução Trabalhos Relacionados Memory-Prediction Framework (MPF) Hierarchical Temporal Memory (HTM) Self-Organizing Map (SOM) Recurrent Self-Organizing Map (RSOM) Par SOM-RSOM Hierarchical Quilted Self-Organizing Map (HQSOM) LoopSOM HQSOM+ Conclusões Referências
  • 3. Introdução Há a hipótese de que o nosso neocórtex é um reconhecedor/classificador hierárquico de padrões espaço-temporais Sabe-se que ele é composto por várias camadas similares Supõe-se que cada camada corresponde a um diferente grau de abstração Analisa características de baixo nível na primeira camada (ex.: a primeira camada cortical visual, a V1, analisa pequenas linhas)... ...E caractéristicas de alto nível nas camadas mais altas, como conceitos abstratos
  • 4. Trabalhos Relacionados Memory-Prediction Framework (Hawkins 2005) Propõe uma arquitetura geral para a implementação de reconhecedores de padrões espaço-temporais de forma hierárquica e com base no que se sabe do funcionamento do nosso neocórtex Existem unidades básicas de processamento, cada uma das quais faz exatamente a mesma coisa O que muda é a camada e a região dentro de uma camada Cada unidade classifica suas entradas tanto espacialmente como temporalmente
  • 5. Trabalhos Relacionados Memory-Prediction Framework (cont...) O mundo se move lentamente, portanto certas invariâncias podem ser capturadas utilizando-se da parte temporal Cada unidade envia seus resultados como entradas para a próxima camada
  • 6. Trabalhos Relacionados Hierarchical Temporal Memory (Hawkins 2006) Implementação Bayesiana do MPF Pode ser vista como uma Rede Bayesiana Hierárquica com propagação de crenças Foi aplicada com sucesso em algumas tarefas de classificação de imagens Atualmente não suporta aprendizado online
  • 7. Trabalhos Relacionados Self-Organizing Map (SOM) Classifica e reconhece padrões Reduz dimensionalidade Preserva topologia do espaço de entrada no espaço de saída Inspirado no funcionamento do neocórtex (1 camada) Abordagem neural e que suporta aprendizado online (embora ainda a adaptação automática de parâmetros ainda seja um problema em aberto)
  • 8. Trabalhos Relacionados Recurrent Self-Organizing Map (RSOM) Versão temporal do SOM Consegue executar classificação e reconhecimento de padrões temporais através de integradores Combina resultados passados com atual Suas capacidades são relativamente limitadas, mas existem outros modelos de mapas auto- organizáveis temporais a serem analisados futuramente (RecSOM, MSOM, AntSOM, etc...) Requer entradas ortogonais entre si para bom funcionamento
  • 10. Trabalhos Relacionados Par SOM-RSOM (Miller 2006) Um SOM recebe um sinal de entrada e o classifica espacialmente As ativações de seus neurônios formam um vetor de ativações, que é passado como entrada para um RSOM O RSOM classifica os vetores de ativação temporalmente Padrões que aparecem próximos no tempo são agrupados, o que trata naturalmente translações, rotações, escala, etc...
  • 11. Trabalhos Relacionados Hierarchical Quilted Self-Organizing Map Vários pares SOM-RSOM organizados hierarquicamente Os índices dos neurônios vencedores de cada RSOM em uma camada são concatenados e enviados como entrada para a camada seguinte Implementação neural do MPF Suporta aprendizado online Porém: Relativamente recente e pouco estudado, há espaço para melhoramentos
  • 12. HQSOM
  • 13. LoopSOM Processamento temporal do RSOM é usado como preditor para o processamento espacial do SOM Se o SOM fica em dúvida entre 2 ou mais neurônios vencedores com ativações similares, a predição resolve a ambiguidade Efetivamente introduz probabilidades a priori não- uniformes para cada neurônio do SOM
  • 14. Experimentos 4 Pontos 2D: {(0,0), (0,1), (1,0), (1,1)} 2 Grupos: Esquerda {(0,0), (0,1)} e Direita {(1,0), (1,1)} Aprendizado congelado depois de formados os 2 clusters Ponto ambíguo: (0.5,0.5)
  • 15. Experimentos 7 Padrões 2D (3x3): 3 linhas verticais, 3 linhas horizontais e padrão vazio 3 Grupos: Vertical, Horizontal e Vazio Aprendizado congelado depois de formados os 3 clusters Padrão ambíguo: cruz (+)
  • 17. HQSOM+ Obtido trocando-se os pares SOM-RSOM por LoopSOMs no HQSOM original Obtem-se um ganho geral de robustez no modelo completo Muitos parâmetros para ajuste, requer uma análise mais aprofundada futuramente, a fim de obter-se resultados mais estáveis (PLSOM?) Útil como módulo de reconhecimento e classificação sensorial de qualquer arquitetura mais completa e geral de IA
  • 18. Experimentos 7 Padrões 2D (5x5): 3 linhas verticais, 3 linhas horizontais e padrão vazio 3 Grupos: Vertical, Horizontal e Vazio Aprendizado congelado depois de formados os 3 clusters Padrão ambíguo: cruz (+)
  • 19. Conclusões O par SOM-RSOM foi aprimorado através de conexões de realimentação, resultando no LoopSOM O LoopSOM foi aplicado no HQSOM com relativo sucesso É necessária uma análise mais profunda do ajuste de parâmetros do HQSOM+ Foram feitos experimentos básicos com os novos modelos, obtendo-se resultados satisfatórios
  • 20. Referências BEHNKE, S.; ROJAS, R. Neural abstraction pyramid: a hierarchical image understanding architecture. In: NEURAL NETWORKS PROCEEDINGS, 1998. IEEE WORLD CONGRESS ON COMPUTATIONAL INTELLIGENCE. THE 1998 IEEE INTERNATIONAL JOINT CONFERENCE ON, 1998. Anais. . . [S.l.: s.n.], 1998. v.2. BERGLUND, E. Improved PLSOM algorithm. Applied Intelligence, [S.l.], p.1–9, 2009. BERGLUND, E.; SITTE, J. The parameter-less SOM algorithm. In: ANZIIS, 2003. Proceedings. . . [S.l.: s.n.], 2003. p.159–164. COHEN, L. An information-processing approach to infant perception and cognition. The development of sensory, motor, and cognitive capacities in early infancy, [S.l.],p.277–300, 1998. CRISTIANINI, N.; SHAWE-TAYLOR, J. An introduction to support vector machines.[S.l.]: Cambridge university press, 2000. DEAN, T. A Computational Model of the Cerebral Cortex. 2005. 938p. v.20, n.2. ELMAN, J. Finding structure in time. Cognitive science, [S.l.], v.14, n.2, p.179–211,1990. FOLDIAK, P.; ENDRES, D. Sparse coding. , [S.l.], 2008. FOLDIAK, P.; YOUNG, M. Sparse coding in the primate cortex. The handbook of braintheory and neural networks, [S.l.], p.895–898, 1995. FUKUSHIMA, K. Neocognitron: a self-organizing neural network model for a mecha-nism of pattern recognition unaffected by shift in position. Biological Cybernetics, [S.l.],v.36, n.4, p.193–202, 1980. GEORGE, D.; JAROS, B.; INC, N. The HTM learning algorithms. March, [S.l.], v.1,p.2007, 2007. GUIDE, N. Numenta Platform for Intelligent Computing. , [S.l.], 2008. GUIMARAES, G. A taxonomy of Self-organizing Maps for temporal sequence processing. Intelligent Data Analysis, [S.l.], v.7, n.4, p.269–290, 2003. HALL, Y. J.; POPLIN, R. E. Using Numentas hierarchical temporal memory to recognize CAPTCHAs. , [S.l.], 2007. HAWKINS, J. On Intelligence. [S.l.]: Owl Books, 2005. HAWKINS, J.; GEORGE, D. Hierarchical Temporal Memory–Concepts, Theory, and Terminology. Whitepaper, Numenta Inc, May, [S.l.], 2006. KOHONEN, T. Self-organization and associative memory. , [S.l.], 1989. KOHONEN, T. The self-organizing map. Neurocomputing, [S.l.], v.21, n.1-3, p.1–6, 1998. KOSKELA, T.; VARSTA, M.; HEIKKONEN, J.; KASKI, K. Temporal sequence processing using recurrent SOM. 1998. v.1. MILLER, J.; LOMMEL, P. Biomimetic sensory abstraction using hierarchical quilted self-organizing maps. In: SPIE, 2006. Proceedings. . . [S.l.: s.n.], 2006. v.6384, p.63840A. MINSKY, M.; PAPERT, S. Perceptrons: an introduction to computational geometry. [S.l.]: MIT press Cambridge, Mass, 1969. PINTO, R.; ENGEL, P. LoopSOM: a robust som variant using self-organizing temporal feedback connections. In: TO APPEAR ON PROCEEDINGS OF THE VIII ENIA - BRAZILIAN MEETING ON ARTIFICIAL INTELLIGENCE, 2009. Anais. . . [S.l.: s.n.], 2009. RIEDMILLER, M.; BRAUN, H. A direct adaptive method for faster backpropagation learning: the rprop algorithm. In: IN PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON NEURAL NETWORKS, 1993. Anais. . . [S.l.: s.n.], 1993. RIESENHUBER, M.; POGGIO, T. Hierarchical models of object recognition in cortex. nature neuroscience, [S.l.], v.2, p.1019–1025, 1999. SWARUP, S.; LAKKARAJU, K.; KLEMENTIEV, A.; RAY, S.; SASSEN, E.; MUNCHEN, G. An anticipatory self-organized map for robust recognition. In: IASTED INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND APPLICATIONS (AIA’05), INNSBRUCK, AUSTRIA, 2005. Proceedings. . . [S.l.: s.n.], 2005. SWARUP, S.; LAKKARAJU, K.; SMITH, N.; RAY, S. A Recurrent Anticipatory Self-Organized Map for Robust Time Series Prediction. In: THE WORKSHOP ON SELF- ORGANIZING MAPS (WSOM), PARIS, FRANCE, SEP 5-8, 2005., 2005. Anais. . .[S.l.: s.n.], 2005. THORNTON, J.; GUSTAFSSON, T.; BLUMENSTEIN, M.; HINE, T. Robust Character Recognition Using a Hierarchical Bayesian Network. Lecture Notes in Computer Science, [S.l.], v.4304, p.1259, 2006. VOEGTLIN, T. Recursive self-organizing maps. Neural Networks, [S.l.], v.15, n.8-9, p.979–991, 2002.