Este documento propone construir diccionarios visuales de forma incremental mediante la clasificación de puntos de interés utilizando ECOC (Error Correcting Output Codes). El documento discute cómo ECOC permite agregar clases al clasificador sin reentrenarlo completamente, lo que posibilita la actualización en línea del diccionario visual a medida que se agregan nuevos puntos de interés. El autor propone implementar este enfoque para permitir el matching de puntos clave de forma incremental.

1. Construcción en línea e incremental
de Diccionarios Visuales
Cristóbal Rojas
Profesor Guía: Álvaro Soto
26 de octubre de 2012

2. Motivación
• Visión por computador, clasificación
• Escenas y objetos en imágenes
• Técnicas usadas

3. Diccionario Visual
• Visión por Computador

4. BoW (Bag of Word)
• Usado en Text Mining
• Queremos clasificar textos (según sus temas)
• Uso de Bag of Word (BoW)

5. Bag of Word
• Usando BoW para clasificar

6. Bag of Word
• Diccionario y representación usando BoW

7. Bag of Word
• ¿Basta solo con la representación BoW?
• Necesitamos un algoritmo de clasificacion

8. ML (Machine Learning)

9. Diccionario Visual
• Palabras Visuales
• BoW

10. Palabras Visuales

11. Palabras Visuales

12. BoW

13. BoW

14. Diccionario Visual
• ¿Cómo formamos el BoW?
• Matching de puntos de interés

15. Matching de puntos de interés
• Actualmente es tratado como un problema de
clasificación de múltiples clases.
• Lepetit et al. (2005)

16. Randomized Tree for Real –Time
Keypoint Recognition
• Matching de puntos de interes, problema de
clasificacion
• Usa Random Forest

17. Randomized Tree for Real –Time
Keypoint Recognition
• Test sencilo en los arboles de decisión
• Set de entrenamiento

18. Randomized Tree for Real –Time
Keypoint Recognition

19. Pregunta de Investigación
• ¿Podemos construir un algoritmo de matching
de puntos de interés que funcione en línea?

20. Propuesta
• ¿Podemos crear un diccionario visual que se
pueda actualizar en línea?
• ¿Qué necesitamos para permitir que esto
ocurra?

21. Propuesta
• Buscamos Clasificador de múltiples clases que
funcione en línea
• ECOC

22. ECOC (Error Correcting Output Codes)
• Clasificador de múltiples clases.
• Separa el problema en muchas clasificaciones
binarias.
• Un código ternario a cada clase
• Codificación, Decodificación, Matriz de
códigos.

23. Matriz con Códigos
• Columnas como particiones y tantas filas
como clases, esta formada por 0, 1 y -1

24. Codificación
• Etapa que genera los códigos de cada clase.
• Existen diversas formas de realizar esta tarea

25. ECOC: Decodificación
• Etapa de inferencia
• Distintos métodos

26. ECOC online
• Podemos incluir clases al clasificador sin
necesidad de reentrenar todo el clasificador

27. ECOC online

28. Propuesta
• Construir sistema de Matching de puntos
clave usando un clasificador ECOC

29. Set de entrenamiento
• Datos de lugares del DCC
• Usando SIFT para encontrar puntos de interés

30. Set de entrenamiento
• Crear Set de clases de los puntos de interés
usando homografías

31. Codificación
• One vs One

32. Decodificación
• Weighted decoding

33. Limitaciones
• Complejidad (tiempo-espacio)

34. Pasos a seguir
• Terminar de formular un clasificador que
puede agregar puntos de interés de manera
online
• Construir el algoritmo que permita verificar si
un punto es nuevo o no