Recomendados
Más contenido relacionado
Destacado
Destacado (10)
Similar a Slow Feature Analysis
Slow Feature Analysis
- 1. Slow Feature Analysis Rafael C.P.
- 3. Slow Feature Analysis Problema: Sinais sensoriais primários variam rapidamente... ...mas o ambiente não Como extrair características invariantes do ambiente?
- 4. Slow Feature Analysis Objetivo: Invariância a partir do tempo Encontrar uma função g(x) que mapeie um conjunto de sinais x em um novo conjunto y, ordenado por “lentidão”
- 5. Slow Feature Analysis Exemplo: 3 fotoreceptores são monitorados As letras S, F e A passam pelo campo visual
- 6. Slow Feature Analysis Exemplo (cont.): Sinais visuais primários variam rapidamente Sinais de mais alto nível representam identidade e local, e variam lentamente
- 7. Slow Feature Analysis Exemplo em ambiente real: Vídeo de um macaco Sinais visuais primários variam rapidamente Sinais de mais alto nível extraídos representam identidade e local
- 8. Formulação Entrada: x(t) = [x1(t), …, xI(t)]T Saída: g(x) = [g1(x),...,gJ(x)]T Saída: y(t) = [y1(t),...,yJ(t)] T yj(t) := gj(x(t)) Minimizar ∆j := ∆(yj) := ⟨ẏ2j⟩ ⟨yj⟩ = 0 (média 0) ⟨y2j⟩ = 1 (variância 1) ∀j' < j: ∀j ⟨yj'yj⟩ = 0 (descorrelação)
- 9. Solução Proposta Simplificando: g(x) pode ser uma combinação linear de K funções não-lineares aplicadas sobre o sinal de entrada: gj(x) : = ∑Kk=1 wjkhk(x) z(t) := h(x(t)) pode ser tratado como um problema linear yj(t) := wTjz(t) h pode ser obtido por uma esferização do sinal de entrada, obtendo média 0 e covariância unitária
- 10. Solução Proposta Objetivo reescrito: Minimizar ∆j := ∆(yj) := ⟨ẏ2j⟩ := wTj⟨żżT⟩wj Reescrevendo as restrições: ⟨yj⟩ = wTj⟨z⟩ = 0 ⟨y2j⟩ = wTj⟨zzT⟩wTj = 1 ∀j ∀j' < j: (⟨z⟩ = 0) (⟨zzT⟩ = I, wTjwj = 1) ⟨yj'yj⟩ = wTj'⟨zzT⟩wTj = 0 (⟨zzT⟩ = I, wTj'wj = 0) Logo, w precisa ser um conjunto de vetores ortonormais
- 11. Solução Proposta Solução: Autovetores normalizados de ⟨żżT⟩ Autovetor correspondente ao menor autovalor é a solução ótima Autovetores subsequentes representam sinais com variações temporais maiores, incrementalmente
- 13. Normalização Os dados de entrada são normalizados pela subtração da média e divisão pelo desvio padrão Dados resultantes possuem média 0 e desvio padrão 1
- 14. Expansão (opcional) Dados expandidos não-linearmente para um espaço de dimensão maior A partir daí, o problema é tratado como linear Mais comum: expansão quadrática (SFA2) Sem expansão: linear (SFA1)
- 15. Esferização (Sphering/Whitening) Usa-se PCA (ou SVD) para que a matriz de covariância dos dados expandidos torne-se a identidade S(z(t) - ⟨z⟩) S = VD-1/2VT
- 16. Diferenciação Como queremos encontrar os T autovetores de ⟨żż ⟩, precisamos diferenciar os dados ao longo do tempo para obter ż
- 17. PCA PCA (ou SVD) é usado para efetivamente encontrar os T autovetores de ⟨żż ⟩, a matriz w Multiplicando-se w por z obtemos os dados transformados
- 18. Repetição (opcional) Em vez de fazer uma expansão muito grande (cúbica ou mais), usa-se a expansão quadrática apenas Após obter y, ele é tratado como novos dados de entrada x e passado novamente pelo algoritmo Efetivamente faz expansões maiores com menor custo
- 19. Experimentos Campos receptivos Extração de forças Reconhecimento de dígitos Reconhecimento de objetos Reconhecimento de ações Reconhecimento de gestos
- 20. Campos Receptivos Os filtros produzidos pelo SFA são similares aos encontrados no córtex visual primário
- 21. Extração de Forças Extração da força por trás do mapa logístico (série temporal caótica)
- 22. Reconhecimento de Dígitos Não há estrutura temporal em um conjunto de dígitos... ...então ela é forjada mostrando sequências de variações dos mesmos dígitos para o SFA Características extraídas pelo SFA são usadas como entrada em algoritmos de classificação
- 23. Reconhecimento de Objetos SFA consegue extrair sinais que representam diferentes objetos sob diferentes transformações
- 26. Conclusões SFA permite extrair características de alto nível de sinais de baixo nível As características extraídas variam lentamente no tempo, possuindo diversas invariâncias As características extraídas podem ser usadas em classificadores de padrões Além de aumentar a eficiência com a redução de dimensionalidade, fornecem informações mais úteis
- 27. Referências Wiskott L. and Sejnowski T.J. - Slow Feature Analysis: Unsupervised Learning of Invariances – Neural Computation 2002 Wiskott L., Berkes P., Franzius M., Sprekeler H. and Wilbert, N. - Slow feature analysis – Scholarpedia (http://www.scholarpedia.org/article/Slow_feature_analysis, acessado em 07/2012) Nickisch H. - Extraction of visual features from natural video data using Slow Feature Analysis – Thesis – 2006 M. Franzius, N. Wilbert, L. Wiskott - Invariant Object Recognition with Slow Feature Analysis - 18th International Conference on Artificial Neural Networks 2008 Berkes, P. - Pattern Recognition with Slow Feature Analysis - Cognitive Sciences EPrint Archive (CogPrints) 4104, 2005