El documento describe un algoritmo para el reconocimiento de objetos en escenas complejas para aplicaciones de realidad aumentada. La metodología propuesta utiliza detección de puntos SIFT, clasificación KNN, estimación de homografía y corrección de perspectiva para reconocer objetos, y permite al usuario interactuar con los objetos reconocidos para visualizar información adicional. Los resultados incluyen aplicaciones para colorear piezas arqueológicas y proveer información a visitantes de museos. El trabajo futuro incluye aplicar técnicas de segu
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones...CIMAT
Salvador Ruiz Correa (https://www.cimat.mx/~src/), Jean Bernard Hayet (https://www.cimat.mx/~jbhayet/) and Diego Jiménez Badillo (http://archaeology.asu.edu/tm/Pages/equipodiego.html).
Resumen:
La capacidad de reconocer objetos en tiempo real es de gran utilidad en aplicaciones en visión computacional. Por ejemplo en aplicaciones de Realidad
Aumentada, la cual estudia las técnicas que permiten integrar, en tiempo real, contenido virtual con el mundo real, a través de un
dispositivo, como una computadora portátil o un dispositivo móvil.
El presente trabajo propone una metodología para el reconocimiento de objetos, utilizando descriptores SIFT para representar a un objeto y un
esquema de vecino más cercano para clasificar aquellos puntos sobresalientes en una escena que correspondan a un objeto, para posteriormente estimar la ubicación del mismo.
Al conocer una estimación de la ubicación del objeto, podemos crear diferentes aplicaciones que utilicen la ubicación estimada para realizar alguna
acción. En particular desarrollamos un sistema de Realidad Aumentada como parte de nuestro trabajo de investigación. Este sistema funge de asistencia a visitantes de museos, particularmente el Museo del Templo Mayor de la Ciudad de México.
El sistema diseñado cuenta con una interfaz gráfica, la cual utiliza la ubicación del objeto para dibujar sobre su contorno un polígono complejo
para señalizar que el objeto ha sido reconocido. De esta forma la interacción del usuario con el sistema es natural y dinámica.
La interacción se da cuando el usuario selecciona al objeto, en ese momento se despliega información acerca del objeto a través de una
página web que contiene elementos multimedia, mapas satelitales, visión de calle y vídeos.
Como parte de nuestros resultados generamos diferentes vídeos donde se muestra el funcionamiento del sistema, estos se pueden consultar en la
siguiente dirección web (http://mariocanulku.awardspace.info/).
Realidad Aumentada Con Fines EducativosRamiro Lopera
La Realidad Aumentada es una técnica mediante la cual los usuarios pueden percibir la realidad superponiendo a
los objetos reales modelos virtuales enriquecidos.
El observador puede trabajar y examinar objetos 3D reales mientras recibe información adicional sobre estos
objetos o sobre la tarea que se está realizando.
ESCÁNER 3D, UNA NUEVA FORMA TECNOLÓGICA PARA FIJAR Y RECREAR LA ESCENA DEL DE...Pablo Bolaños López
Para fijar una escena del delito ya no solo es suficiente con describirla, fotografiarla, tomar datos para realizar una planimetría o realizar moldeados, ahora con la ayuda de un escáner se logra obtener una ilustración del lugar en tres dimensiones y poder navegar en ella
Etnografía Rápida y Realidad Aumentada: Diseño Conceptual Aplicaciones Móvile...Miguel Palau
Un caso práctico de investigación sobre Antropología para el Diseño, en conjunción con Interacción Humano Computador. Se considera el estudio de caso de diseño con carácter pluridisciplinario. La realización del proyecto, aplico elementos sobre la metodología etnográfica en tiempos cortos para su elaboración con el propósito de aplicar modelos teóricos por sobre lo empírico. Dentro de sus hallazgos relevantes se obtiene información específica sobre atributos y funcionalidades de un prototipo de estación de trabajo con Realidad Aumentada. Se combinan dos modelos interpretativos, Millgrams para entender la realidad en forma real, mixta y virtual junto con los estudios antropológicos social cultural de Samuel Hurtado, sobre Cultura del Trabajo en Venezuela.
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones...CIMAT
Salvador Ruiz Correa (https://www.cimat.mx/~src/), Jean Bernard Hayet (https://www.cimat.mx/~jbhayet/) and Diego Jiménez Badillo (http://archaeology.asu.edu/tm/Pages/equipodiego.html).
Resumen:
La capacidad de reconocer objetos en tiempo real es de gran utilidad en aplicaciones en visión computacional. Por ejemplo en aplicaciones de Realidad
Aumentada, la cual estudia las técnicas que permiten integrar, en tiempo real, contenido virtual con el mundo real, a través de un
dispositivo, como una computadora portátil o un dispositivo móvil.
El presente trabajo propone una metodología para el reconocimiento de objetos, utilizando descriptores SIFT para representar a un objeto y un
esquema de vecino más cercano para clasificar aquellos puntos sobresalientes en una escena que correspondan a un objeto, para posteriormente estimar la ubicación del mismo.
Al conocer una estimación de la ubicación del objeto, podemos crear diferentes aplicaciones que utilicen la ubicación estimada para realizar alguna
acción. En particular desarrollamos un sistema de Realidad Aumentada como parte de nuestro trabajo de investigación. Este sistema funge de asistencia a visitantes de museos, particularmente el Museo del Templo Mayor de la Ciudad de México.
El sistema diseñado cuenta con una interfaz gráfica, la cual utiliza la ubicación del objeto para dibujar sobre su contorno un polígono complejo
para señalizar que el objeto ha sido reconocido. De esta forma la interacción del usuario con el sistema es natural y dinámica.
La interacción se da cuando el usuario selecciona al objeto, en ese momento se despliega información acerca del objeto a través de una
página web que contiene elementos multimedia, mapas satelitales, visión de calle y vídeos.
Como parte de nuestros resultados generamos diferentes vídeos donde se muestra el funcionamiento del sistema, estos se pueden consultar en la
siguiente dirección web (http://mariocanulku.awardspace.info/).
Realidad Aumentada Con Fines EducativosRamiro Lopera
La Realidad Aumentada es una técnica mediante la cual los usuarios pueden percibir la realidad superponiendo a
los objetos reales modelos virtuales enriquecidos.
El observador puede trabajar y examinar objetos 3D reales mientras recibe información adicional sobre estos
objetos o sobre la tarea que se está realizando.
ESCÁNER 3D, UNA NUEVA FORMA TECNOLÓGICA PARA FIJAR Y RECREAR LA ESCENA DEL DE...Pablo Bolaños López
Para fijar una escena del delito ya no solo es suficiente con describirla, fotografiarla, tomar datos para realizar una planimetría o realizar moldeados, ahora con la ayuda de un escáner se logra obtener una ilustración del lugar en tres dimensiones y poder navegar en ella
Etnografía Rápida y Realidad Aumentada: Diseño Conceptual Aplicaciones Móvile...Miguel Palau
Un caso práctico de investigación sobre Antropología para el Diseño, en conjunción con Interacción Humano Computador. Se considera el estudio de caso de diseño con carácter pluridisciplinario. La realización del proyecto, aplico elementos sobre la metodología etnográfica en tiempos cortos para su elaboración con el propósito de aplicar modelos teóricos por sobre lo empírico. Dentro de sus hallazgos relevantes se obtiene información específica sobre atributos y funcionalidades de un prototipo de estación de trabajo con Realidad Aumentada. Se combinan dos modelos interpretativos, Millgrams para entender la realidad en forma real, mixta y virtual junto con los estudios antropológicos social cultural de Samuel Hurtado, sobre Cultura del Trabajo en Venezuela.
Es una presentación donde se explica que es la Realidad Aumentada, con que fines se utiliza, aplicaciones que la usan, el origen de la Realidad Aumentada y algunas imágenes que muestran su uso.
Reconocimiento y clasificación automática de objetos arqueológicosCIMAT
Se habla acerca de una metodología para realizar búsquedas automáticas de piezas arqueológicas, empleando técnicas de aprendizaje automático y análisis de formas 3D.
Control de un robot de dos grados de libertad mediante visiónBronson Duhart
Documento sobre el desarrollo de una interfaz hombre-máquina para controlar la posición de un brazo robótico de 2 GDL a través de la cámara web de una computadora, a partir de reconocimiento de colores.
Resultado final: https://www.youtube.com/watch?v=sAGT6oBefyg
Es una presentación donde se explica que es la Realidad Aumentada, con que fines se utiliza, aplicaciones que la usan, el origen de la Realidad Aumentada y algunas imágenes que muestran su uso.
Reconocimiento y clasificación automática de objetos arqueológicosCIMAT
Se habla acerca de una metodología para realizar búsquedas automáticas de piezas arqueológicas, empleando técnicas de aprendizaje automático y análisis de formas 3D.
Control de un robot de dos grados de libertad mediante visiónBronson Duhart
Documento sobre el desarrollo de una interfaz hombre-máquina para controlar la posición de un brazo robótico de 2 GDL a través de la cámara web de una computadora, a partir de reconocimiento de colores.
Resultado final: https://www.youtube.com/watch?v=sAGT6oBefyg
ROMPECABEZAS DE ECUACIONES DE PRIMER GRADO OLIMPIADA DE PARÍS 2024. Por JAVIE...JAVIER SOLIS NOYOLA
El Mtro. JAVIER SOLIS NOYOLA crea y desarrolla el “ROMPECABEZAS DE ECUACIONES DE 1ER. GRADO OLIMPIADA DE PARÍS 2024”. Esta actividad de aprendizaje propone retos de cálculo algebraico mediante ecuaciones de 1er. grado, y viso-espacialidad, lo cual dará la oportunidad de formar un rompecabezas. La intención didáctica de esta actividad de aprendizaje es, promover los pensamientos lógicos (convergente) y creativo (divergente o lateral), mediante modelos mentales de: atención, memoria, imaginación, percepción (Geométrica y conceptual), perspicacia, inferencia, viso-espacialidad. Esta actividad de aprendizaje es de enfoques lúdico y transversal, ya que integra diversas áreas del conocimiento, entre ellas: matemático, artístico, lenguaje, historia, y las neurociencias.
Presentación de la conferencia sobre la basílica de San Pedro en el Vaticano realizada en el Ateneo Cultural y Mercantil de Onda el jueves 2 de mayo de 2024.
SEMIOLOGIA DE HEMORRAGIAS DIGESTIVAS.pptxOsiris Urbano
Evaluación de principales hallazgos de la Historia Clínica utiles en la orientación diagnóstica de Hemorragia Digestiva en el abordaje inicial del paciente.
SMM 2013 (Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada)
1. Algoritmo de Reconocimiento de Objetos en Escenas Complejas
para Aplicaciones de Realidad Aumentada
Mario G. Canul Ku1
Página web: http://mariomgck.awardspace.com
Dr. Salvador Ruiz Correa2 Dr. Jean-Bernard Hayet2
Dr. Diego Jiménez Badillo2
1
Autor,
2
Asesores
XLVI Congreso de la Sociedad Mexicana de Matemáticas
Octubre 2013, Mérida, Yuc.
Centro de Investigación
en Matemáticas, A.C.
2. Motivación
Realizar una métodología que permita reconocer múltiples objetos, en
tiempo real, para desarrollar aplicaciones de RA. El interés principal
es crear un sistema de RA enfocado al reconocimiento de piezas
arqueológicas.
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 1/18
4. Reconocimiento de objetos
Introducción
El reconocimiento de objetos se enfoca a reconocer objetos particulares, y para reconocerlos, requerimos que los objetos puedan ser
representados a partir de características de los mismos.
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 3/18
5. Realidad aumentada
Introducción
La RA se encarga de estudiar las técnicas que permiten integrar
en tiempo real contenido virtual con el mundo real, permitiendo al
usuario ver el mundo real con objetos virtuales superpuestos.
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 4/18
6. Metodología propuesta
Conceptos
+
Imagen de una
escena con objetos
de interés
+
Identificación de
contenido específico
Interacción
(x,y)
Detección de
puntos SIFT
Descriptores
Clasificación
K-NN
Render
ID de objeto
Estimación de
la homografía
y corrección de
la perspectiva
Ubicación del
objeto, ID
+
Rendering
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 5/18
7. Detector SIFT
Conceptos
Scale Invariant Feature
Transform (SIFT), Lowe
(1999), es una
metodología esta divida en
cuatro fase:
Detección de puntos
extremos en el
espacio de escalas.
Localización de los
puntos característicos.
Asignación de
orientación
dominante.
Generación del
descriptor.
(a) Espacio de escalas
(b) Descriptor SIFT
Figura: Imágenes:
http://areshmatlab.blogspot.mx/2010/07/details-behind-siftfeature-detection.html
https://picasaweb.google.com/lh/photo/vyaYFzPsGz6RzldJnvEaDQ
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 6/18
9. Clásicación de vecino más cercano
Conceptos
d1
d2
KNN
d3
d5
d4
d9
d6
d
1
?q
d10
d2
d11
d8
d7
El problema de clasicación de vecino más cercano (K-Nearest-Neighbor
KNN), consiste en: Dado un dato q a buscar y un conjunto de datos
P , encontrar sus k datos más cercanos. El dato q es clasicado con
la etiqueta que más se repite en los k datos más cercanos.
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 8/18
11. Establecimiento de correspondencias
Metodología
La etapa de detección de puntos SIFT nos proporciona un conjunto
de descriptores, con ellos establecemos correspondencias entre los
descriptores de la escena y los de cada objeto.
(a) Detección de puntos
SIFT
(b) Clasicación por KNN
Figura: Piezas arqueológicas de la sala 5 del Museo del Templo Mayor.
Imágenes
: Cortesía del Museo del Templo Mayor de la Ciudad de México
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 10/18
12. Estimación de la homografía y corrección de la
perspectiva
Metodología
En esta etapa, estimamos una homografía H a partir las correspondencias de cada objeto. Usamos H para corregir la perspectiva del
contorno del objeto y así obtener una estimación de su posición.
(a) Estimación de homografía
(b) Contorno en perspectiva
Figura: Piezas arqueológicas de la sala 5 del Museo del Templo Mayor.
Imágenes
: Cortesía del Museo del Templo Mayor de la Ciudad de México
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 11/18
13. Interacción con el usuario
Metodología
La interacción se realiza al seleccionar un objeto con un punto (x, y),
si éste punto se encuentra contenido en el polígono, es posible asociar
la acción de colorear la región de interés.
(a) Región de interés delimitada por
un polígono complejo.
(b) Región de interés coloreada.
Figura: Piezas arqueológicas de la sala 5 del Museo del Templo Mayor.
Imágenes
: Cortesía del Museo del Templo Mayor de la Ciudad de México
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 12/18
14. Visualización de información
Metodología
Finalmente, cuando el usuario selecciona una región de interés, con
base al ID del objeto, se visualiza mediante una página web toda la
información relacionada al objeto.
Figura: Despliegue de información del objeto a través de una página web.
Imágen
: Caracol Marino, cortesía del Museo del Templo Mayor de la Ciudad de México
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 13/18
15. Coloreado de piezas arqueológicas
Resultados
Una pieza arqueológica, debido al paso del tiempo sus pigmentos se
deterioran y son pocos visibles. Por ello se desarrolló una aplicación
de RA que ejemplica el coloreado de una pieza arqueológica.
Figura: Vídeo del coloreado de la piedra del Sol Azteca.
Imágenes
: Cortesía de Marco Armenta drmarco@cimat.mx
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 14/18
16. Información asistencial a visitantes de museos
Resultados
Otra aplicación de nuestro trabajo fue el desarrolló un sistema que
reconoce e identicar piezas aqueológicas de la sala 5 del Museo del
Templo Mayor.
Figura: Detección de piezas arqueológicas exhibidas en la sala 5 del
Museo del Templo Mayor.
Imagen
: Cortesía del Museo del Templo Mayor de la Ciudad de México
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 15/18
17. Trabajo futuro
Trabajo futuro
Aplicar técnicas de seguimiento que involucren modelos
dinámicos de movimiento, con los cuales nos permita predicir
la posición de un objeto.
Desarrollar una aplicación en un dispositivo móvil que pueda
emplear los actuales Google Glass.
Implementar los algoritmos para que su ejecución sea en
tarjeta gráca. Esto conllevaría un gran aumento en la
eciencia de todo el proceso de la detección de objetos.
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 16/18
19. Referencias I
Trabajo futuro
Lowe, D. G. (1999). Object recognition from local scale-invariant features. En Proceedings of the
International Conference on Computer Vision-Volume 2 - Volume 2, ICCV '99, páginas 11501157,
Washington, DC, USA. IEEE Computer Society.
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 18/18