El documento describe un algoritmo para el reconocimiento de objetos en escenas complejas para aplicaciones de realidad aumentada. La metodología propuesta utiliza detección de puntos SIFT, clasificación KNN, estimación de homografía y corrección de perspectiva para reconocer objetos, y permite al usuario interactuar con los objetos reconocidos para visualizar información adicional. Los resultados incluyen aplicaciones para colorear piezas arqueológicas y proveer información a visitantes de museos. El trabajo futuro incluye aplicar técnicas de segu

1. Algoritmo de Reconocimiento de Objetos en Escenas Complejas
para Aplicaciones de Realidad Aumentada
Mario G. Canul Ku1
Página web: http://mariomgck.awardspace.com
Dr. Salvador Ruiz Correa2 Dr. Jean-Bernard Hayet2
Dr. Diego Jiménez Badillo2
1
Autor,
2
Asesores
XLVI Congreso de la Sociedad Mexicana de Matemáticas
Octubre 2013, Mérida, Yuc.
Centro de Investigación
en Matemáticas, A.C.

2. Motivación
Realizar una métodología que permita reconocer múltiples objetos, en
tiempo real, para desarrollar aplicaciones de RA. El interés principal
es crear un sistema de RA enfocado al reconocimiento de piezas
arqueológicas.
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 1/18

3. Contenido
1
Introducción
2
Conceptos
3
Metodología
4
Resultados
5
Trabajo futuro
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 2/18

4. Reconocimiento de objetos
Introducción
El reconocimiento de objetos se enfoca a reconocer objetos particulares, y para reconocerlos, requerimos que los objetos puedan ser
representados a partir de características de los mismos.
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 3/18

5. Realidad aumentada
Introducción
La RA se encarga de estudiar las técnicas que permiten integrar
en tiempo real contenido virtual con el mundo real, permitiendo al
usuario ver el mundo real con objetos virtuales superpuestos.
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 4/18

6. Metodología propuesta
Conceptos
+
Imagen de una
escena con objetos
de interés
+
Identificación de
contenido específico
Interacción
(x,y)
Detección de
puntos SIFT
Descriptores
Clasificación
K-NN
Render
ID de objeto
Estimación de
la homografía
y corrección de
la perspectiva
Ubicación del
objeto, ID
+
Rendering
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 5/18

7. Detector SIFT
Conceptos
Scale Invariant Feature
Transform (SIFT), Lowe
(1999), es una
metodología esta divida en
cuatro fase:
Detección de puntos
extremos en el
espacio de escalas.
Localización de los
puntos característicos.
Asignación de
orientación
dominante.
Generación del
descriptor.
(a) Espacio de escalas
(b) Descriptor SIFT
Figura: Imágenes:
http://areshmatlab.blogspot.mx/2010/07/details-behind-siftfeature-detection.html
https://picasaweb.google.com/lh/photo/vyaYFzPsGz6RzldJnvEaDQ
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 6/18

8. Clasicación
Conceptos
Figura: Problema de clasicación
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 7/18

9. Clásicación de vecino más cercano
Conceptos
d1
d2
KNN
d3
d5
d4
d9
d6
d
1
?q
d10
d2
d11
d8
d7
El problema de clasicación de vecino más cercano (K-Nearest-Neighbor
KNN), consiste en: Dado un dato q a buscar y un conjunto de datos
P , encontrar sus k datos más cercanos. El dato q es clasicado con
la etiqueta que más se repite en los k datos más cercanos.
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 8/18

10. Homografía
Conceptos
Corrección de perspectiva
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 9/18

11. Establecimiento de correspondencias
Metodología
La etapa de detección de puntos SIFT nos proporciona un conjunto
de descriptores, con ellos establecemos correspondencias entre los
descriptores de la escena y los de cada objeto.
(a) Detección de puntos
SIFT
(b) Clasicación por KNN
Figura: Piezas arqueológicas de la sala 5 del Museo del Templo Mayor.
Imágenes
: Cortesía del Museo del Templo Mayor de la Ciudad de México
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 10/18

12. Estimación de la homografía y corrección de la
perspectiva
Metodología
En esta etapa, estimamos una homografía H a partir las correspondencias de cada objeto. Usamos H para corregir la perspectiva del
contorno del objeto y así obtener una estimación de su posición.
(a) Estimación de homografía
(b) Contorno en perspectiva
Figura: Piezas arqueológicas de la sala 5 del Museo del Templo Mayor.
Imágenes
: Cortesía del Museo del Templo Mayor de la Ciudad de México
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 11/18

13. Interacción con el usuario
Metodología
La interacción se realiza al seleccionar un objeto con un punto (x, y),
si éste punto se encuentra contenido en el polígono, es posible asociar
la acción de colorear la región de interés.
(a) Región de interés delimitada por
un polígono complejo.
(b) Región de interés coloreada.
Figura: Piezas arqueológicas de la sala 5 del Museo del Templo Mayor.
Imágenes
: Cortesía del Museo del Templo Mayor de la Ciudad de México
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 12/18

14. Visualización de información
Metodología
Finalmente, cuando el usuario selecciona una región de interés, con
base al ID del objeto, se visualiza mediante una página web toda la
información relacionada al objeto.
Figura: Despliegue de información del objeto a través de una página web.
Imágen
: Caracol Marino, cortesía del Museo del Templo Mayor de la Ciudad de México
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 13/18

15. Coloreado de piezas arqueológicas
Resultados
Una pieza arqueológica, debido al paso del tiempo sus pigmentos se
deterioran y son pocos visibles. Por ello se desarrolló una aplicación
de RA que ejemplica el coloreado de una pieza arqueológica.
Figura: Vídeo del coloreado de la piedra del Sol Azteca.
Imágenes
: Cortesía de Marco Armenta drmarco@cimat.mx
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 14/18

16. Información asistencial a visitantes de museos
Resultados
Otra aplicación de nuestro trabajo fue el desarrolló un sistema que
reconoce e identicar piezas aqueológicas de la sala 5 del Museo del
Templo Mayor.
Figura: Detección de piezas arqueológicas exhibidas en la sala 5 del
Museo del Templo Mayor.
Imagen
: Cortesía del Museo del Templo Mayor de la Ciudad de México
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 15/18

17. Trabajo futuro
Trabajo futuro
Aplicar técnicas de seguimiento que involucren modelos
dinámicos de movimiento, con los cuales nos permita predicir
la posición de un objeto.
Desarrollar una aplicación en un dispositivo móvil que pueda
emplear los actuales Google Glass.
Implementar los algoritmos para que su ejecución sea en
tarjeta gráca. Esto conllevaría un gran aumento en la
eciencia de todo el proceso de la detección de objetos.
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 16/18

18. ½½½½½½½ Gracias !!!!!!!!
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 17/18

19. Referencias I
Trabajo futuro
Lowe, D. G. (1999). Object recognition from local scale-invariant features. En Proceedings of the
International Conference on Computer Vision-Volume 2 - Volume 2, ICCV '99, páginas 11501157,
Washington, DC, USA. IEEE Computer Society.
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 18/18