2. Contenidos
MÓDULO 1
Introducción a Realidad Aumentada (RA)
MÓDULO 2
Dispositivos de entrada y salida
MÓDULO 3
Fundamentos teóricos
MÓDULO 4
Librerías y authoring de RA
Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
3. M2- Dispositivos de entrada y
salida
Características
de un sistema de RA
Dispositivos de entrada
Captura
Tracking
Interacción
Dispositivos
de salida
Visuales
Auditivas
Táctiles
Realidad Aumentada | María José Abásolo | Facultad Inform
4. M2- Dispositivos de entrada y
salida
Características
de un sistema de RA
Dispositivos de entrada
Dispositivos de salida
Realidad Aumentada | María José Abásolo | Facultad Inform
5. M2- Dispositivos de entrada y salida
Cómo es una aplicación de RA
TRACKING
CAPTURA
Posición y orientación
Video o visión directa
del mundo real
GENERADOR INFORMACION AGREGADA
+ sonidos
+ respuestas
táctiles
Proyección de
la escena virtual
(gráficos 3d)
VISUALIZADOR
Imagen real + objetos virtuales
registrados
Realidad Aumentada | María José Abásolo | Facultad Inform
6. M2- Dispositivos de entrada y salida
Cómo es una aplicación de RA
Capturar la escena real
Conocer posición y dirección de visión
usuario: tracking
Aumentar la escena real
Interacción user-sistema
Realidad Aumentada | María José Abásolo | Facultad Inform
7. M2- Dispositivos de entrada y salida
Necesidades de RA
Dispositivos
de entrada
Dispositivos de salida
Aplicación en tiempo real
Realidad Aumentada | María José Abásolo | Facultad Inform
8. M2- Dispositivos de entrada y salida
Necesidades de RA
Dispositivos
de entrada
Capturar la realidad
Conocer posición-seguimiento (tracking)
Interactuar con el sistema (comandos de entrada)
Realidad Aumentada | María José Abásolo | Facultad Inform
9. M2- Dispositivos de entrada y salida
Necesidades de RA
Dispositivos
de salida
Visualizador (display) que integre realidad –
virtualidad
Otras salidas no visuales: sonidos y estímulos
táctiles
Realidad Aumentada | María José Abásolo | Facultad Inform
10. M2- Dispositivos de entrada y salida
Necesidades de RA
Aplicación
en tiempo real
Integrar realidad y virtualidad
Interactividad (mediante nuevas metáforas de
interacción)
Realidad Aumentada | María José Abásolo | Facultad Inform
11. M2- Dispositivos de entrada y
salida
Dispositivos
de entrada
Captura
Tracking
Interacción
Realidad Aumentada | María José Abásolo | Facultad Inform
12. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Captura de la realidad
La captura de la realidad es la obtención de un
video en tiempo real desde el punto de vista de un
usuario
Un video es una secuencia de imágenes I1, I2, …, In
Realidad Aumentada | María José Abásolo | Facultad Inform
13. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Captura de la realidad
La velocidad de captura depende del hard y soft
utilizado
25 a 30 imágenes por segundo es la cantidad de
imágenes que tenemos que visualizar en una
pantalla para percibir continuidad en la
secuencia de objetos en movimiento
Realidad Aumentada | María José Abásolo | Facultad Inform
14. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Captura de la realidad
El
video capturado puede necesitarse para:
Visualizar un nuevo video “aumentado”
video capturado
video capturado + imágenes sintéticas
Realidad Aumentada | María José Abásolo | Facultad Inform
15. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Captura de la realidad
El
video capturado puede necesitarse para:
Visualizar un nuevo video “aumentado”
Si el dispositivo de visualización es “transparente” no
se requiere hacer un “video aumentado” ya que el
usuario visualiza la realidad directa y por lo tanto no
sería necesaria la captura de video para este
propósito
Realidad Aumentada | María José Abásolo | Facultad Inform
16. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Captura de la realidad
El
video capturado puede necesitarse
también para:
Realizar el tracking videométrico
Esto significa analizar cada imagen del video en
busca de características que ayuden a establecer la
posición y orientación del usuario en el mundo real
en cada instante
Realidad Aumentada | María José Abásolo | Facultad Inform
17. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Captura de la realidad
La
captura de la realidad se realiza por
medio de una cámara
Puede estar integrada al dispositivo de
visualización
Puede ser una cámara independiente del
dispositivo de visualización
Realidad Aumentada | María José Abásolo | Facultad Inform
18. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Captura de la realidad
Dispositivos
de captura de la realidad
Cámara web conectada a PC
Cámara incorporada a casco-gafas “HMD”
Cámara integrada en dispositivo “hand held”
Ninguno (si no se necesita el video ni para hacer
video aumentado ni para realizar tracking)
Realidad Aumentada | María José Abásolo | Facultad Inform
19. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Captura de la realidad
Dispositivos
de captura de la realidad
Cámara web conectada a PC
Realidad Aumentada | María José Abásolo | Facultad Inform
20. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Captura de la realidad
Dispositivos
de captura de la realidad
Cámara incorporada a casco-gafas “HMD”
Realidad Aumentada | María José Abásolo | Facultad Inform
21. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Captura de la realidad
Dispositivos
de captura de la realidad
Cámara integrada en dispositivo “hand held”
Realidad Aumentada | María José Abásolo | Facultad Inform
22. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Captura de la realidad
Según
los dispositivos usados la cámara
puede
Estar fija, capturando una escena en
movimiento. Por ejemplo: aplicaciones de
escritorio en las que movemos un marcador
Realidad Aumentada | María José Abásolo | Facultad Inform
23. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Captura de la realidad
Según
los dispositivos usados la cámara
puede
Ser una cámara móvil
Realidad Aumentada | María José Abásolo | Facultad Inform
24. M2- Dispositivos de entrada y
salida
Dispositivos
de entrada
Captura
Tracking
Interacción
Realidad Aumentada | María José Abásolo | Facultad Inform
25. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking
El movimiento de un usuario u objeto se
describe mediante 6 parámetros o grados de
libertad (Degree Of Freedom o DOF)
3 grados dan la posición (x,y,z) en un sistema de
coordenadas de referencia
3 grados dan la rotación (Rx,Ry,Rz) con
respecto a los 3 ejes principales X,Y,Z de un
sistema de referencia
Realidad Aumentada | María José Abásolo | Facultad Inform
26. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking
Según
la aplicación, el tracking puede
realizarse de:
la cabeza
los ojos
la mano y de los dedos
un objeto
Nota: no nos estamos refiriendo a tracking
aplicaciones de RA exclusivamente sino
también a RV e interfaces avanzadas
Realidad Aumentada | María José Abásolo | Facultad Inform
27. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking
Tracking de la cabeza
Puede
necesitarse conocer solamente su
posición o también su orientación
Utilizado en aplicaciones de RV y algunas de
RA
Realidad Aumentada | María José Abásolo | Facultad Inform
28. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking
Tracking de ojos
El
“eye tracking” o seguimiento del ojo nos
permite saber dónde dirige su mirada una
persona y la altura de los ojos
Utilizado como interfaz de usuario, por
ejemplo para personas con movilidad
reducida
Realidad Aumentada | María José Abásolo | Facultad Inform
29. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking
Tracking de la mano y dedos
Necesario
para proporcionar al usuario un
mecanismo de interacción con el mundo
Ayuda a la comunicación entre varios
participantes
Se usa en RV y en algunas aplicaciones de
RA
Realidad Aumentada | María José Abásolo | Facultad Inform
30. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking
Tracking de la mano y dedos
DataGlove: utiliza un sensor de posición. Tiene
sensores para detectar la flexión de los dedos (5°
de resolución)
Realidad Aumentada | María José Abásolo | Facultad Inform
31. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking
Tracking de objetos
Hay
objetos que pueden servir como
indicación de la posición del usuario
Utilizar un dispositivo puntero 3D indica
donde puede estar la mano
Girar un volante indica la posición de las
manos
Pulsar un pedal indica donde esta el pié
Realidad Aumentada | María José Abásolo | Facultad Inform
32. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking
Tracking de objetos
Otros
objetos necesitan un tracking
independiente del usuario
Por
ejemplo, una aplicación de RA de
entrenamiento médico que utiliza un bisturí
Realidad Aumentada | María José Abásolo | Facultad Inform
33. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking
Tracking de objetos
Objetos
usuario
que se utilizan como interfaz de
Realidad Aumentada | María José Abásolo | Facultad Inform
34. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking
El tracking nos provee posición y orientación
relativa a un cierto sistema de coordenadas
Por ejemplo: en una aplicación de RA con marcadores,
cual es la posición y orientación de un cierto marcador en
relación a la cámara que captura la escena
Por ejemplo: en un video de vigilancia, cual es la posición
relativa de una cierta persona en relación a su posición
anterior
Realidad Aumentada | María José Abásolo | Facultad Inform
35. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking
En algunas aplicaciones de RA denominadas
gravimétricas (Gravimetric AR) es necesario
conocer la posición y orientación global
(latitud, longitud, altitud y orientación con respecto
al Norte)
Realidad Aumentada | María José Abásolo | Facultad Inform
36. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking
Gravimetric AR
Madden, L. (2011) Professional Augmented Reality Browsers
for Smartphones. Programming for junaio, Layar and Wikitude.
John Wiley & Sons, ISBN 978-1-119-99281-3.
Se denomina a las aplicaciones de RA basadas en la
localización del usuario a través del GPS y otros sensores del
teléfono móvil: se conoce la posición del usuario y en que
dirección apunta con su dispositivo de captura/visualización
La aplicación puede visualizar información relevante a la
posición mostrando que hay alrededor dependiendo de los
intereses del perfil
Realidad Aumentada | María José Abásolo | Facultad Inform
37. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking
El tracking puede realizarse de muchas maneras:
Tracking basado en dispositivos
Tracking basado en video o videométrico
Tracking híbrido: combinación de ambos
Realidad Aumentada | María José Abásolo | Facultad Inform
38. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking
El tracking puede realizarse de muchas maneras
Tracking basado en dispositivos
Tracking basado en video o videométrico
Tracking híbrido: combinación de ambos
Realidad Aumentada | María José Abásolo | Facultad Inform
39. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Dispositivos de tracking
Dispositivos de tracking
Electromagnético
Mecánico
Óptico
Ultrasónico
Neuromuscular
Inercial
GPS
Realidad Aumentada | María José Abásolo | Facultad Inform
40. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Dispositivos de tracking
Tracking Electromagnético
Realidad Aumentada | María José Abásolo | Facultad Inform
41. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Dispositivos de tracking
Tracking Electromagnético
Denominado Inside-out, pues los sensores están
en el cuerpo (inside) y recolectan datos de fuentes
externas (out)
Los sensores del cuerpo se mueven en un campo
elecromagnético exterior
Utilizado en algunas aplicaciones de realidad
virtual de ambiente controlado
Realidad Aumentada | María José Abásolo | Facultad Inform
42. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Dispositivos de tracking
Tracking Electromagnético
Relación entre un gran transmisor y un pequeño
receptor
No se necesita una línea de visión directa
Múltiples receptores permiten el seguimiento de
diferentes articulaciones
Normalmente funciona con cables
Los metales pueden crear interferencias
El espacio de trabajo es reducido
Realidad Aumentada | María José Abásolo | Facultad Inform
43. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Dispositivos de tracking
Tracking Mecánico
Realidad Aumentada | María José Abásolo | Facultad Inform
44. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Dispositivos de tracking
Tracking Mecánico
Denominado Inside-in, ya que tanto los sensores
como las fuentes están localizados en el cuerpo
Trajes electromecánicos: los sensores son
potenciómetros y las fuentes son las articulaciones
reales del cuerpo que presionan sobre ellos
Utilizado en algunas aplicaciones de realidad virtual
de ambiente controlado
Realidad Aumentada | María José Abásolo | Facultad Inform
45. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Dispositivos de tracking
Dispositivos de tracking
Mecánico
Muy rápido
Muy preciso
Muy incomodo para el usuario
Movimientos muy limitados
Se puede integrar la respuesta de fuerzas (forcefeedback)
Realidad Aumentada | María José Abásolo | Facultad Inform
46. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Dispositivos de tracking
Dispositivos de tracking
Óptico
Realidad Aumentada | María José Abásolo | Facultad Inform
47. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Dispositivos de tracking
Dispositivos de tracking
Óptico
Realidad Aumentada | María José Abásolo | Facultad Inform
48. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Dispositivos de tracking
Dispositivos de tracking
Óptico
Outside-in: sensores externos (outside) para
recolectar datos de fuentes localizadas en el cuerpo
(in)
Sistemas basados en cámaras: las cámaras son los
sensores que capturan los marcadores reflectivos
que actuan como fuentes
Utilizados para captura de movimiento para realizar
animaciones
Realidad Aumentada | María José Abásolo | Facultad Inform
49. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Dispositivos de tracking
Dispositivos de tracking
Óptico
Utiliza cámaras de video u otros sensores de luz
para determinar la posición del usuario
No necesita cables
Con varias cámaras se puede obtener la posición 3D
Necesita visión directa y buena iluminación
Realidad Aumentada | María José Abásolo | Facultad Inform
50. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Dispositivos de tracking
Dispositivos de tracking
Ultrasónico
Utiliza sonidos de alta frecuencia
A través de fuentes localizadas en el sujeto en
movimiento y receptores localizados en el ambiente
se puede estimar la posición del sujeto midiendo el
tiempo de retardo del sonido recibido en los
diferentes receptores
No es bueno en ambientes ruidosos
Se usa en interiores
Realidad Aumentada | María José Abásolo | Facultad Inform
51. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Dispositivos de tracking
Dispositivos de tracking
Neuromuscular
Realidad Aumentada | María José Abásolo | Facultad Inform
52. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Dispositivos de tracking
Dispositivos de tracking
Neuromuscular
Miden el movimiento de partes del cuerpo relativo a
otras partes del cuerpo
No han sido muy explotados en el campo de la RV
Realidad Aumentada | María José Abásolo | Facultad Inform
53. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Dispositivos de tracking
Dispositivos
de tracking
Inercial
Utiliza instrumentos que pueden detectar y medir
cambios de fuerzas giroscópicas (aceleración e
inclinación)
Acelerómetros y giroscopios permiten conocer
aceleración y velocidad de rotación, a partir de
las cuales puede conocerse los 6 grados de
libertad de la pose.
Realidad Aumentada | María José Abásolo | Facultad Inform
54. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Dispositivos de tracking
Dispositivos
de tracking
Inercial
Las ventajas de este tipo de dispositivos radica en su
rapidez y su buena respuesta a cambios bruscos.
No precisan punto de referencia
Su principal desventaja suele ser que pierden precisión a
lo largo del tiempo y por esto cada cierto tiempo deben
recalibrase
Funcionan bien combinados con otros sistemas (tracking
híbrido)
Realidad Aumentada | María José Abásolo | Facultad Inform
55. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Dispositivos de tracking
Dispositivos de tracking
Inercial
Los cascos de RV (HMD) suelen incorporar sensores
inerciales para el tracking de la cabeza
Algunos modelos de teléfonos móviles de última
generación poseen integrados acelerómetros y
giroscopios con tecnología MEMS
(MicroElectroMechanical Systems)
Son muy utlizados en aplicaciones de RA
Realidad Aumentada | María José Abásolo | Facultad Inform
56. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Dispositivos de tracking
Dispositivos de tracking
GPS (Global Positional System)
Un sistema GPS o Sistema de Posicionamiento
Global está compuesto por un lado por una red de
30 satélites NAVSTAR y por otro lado por unos
receptores GPS. La red de satélites es propiedad del
Gobierno de los Estados Unidos de América y está
gestionado por su Departamento de Defensa (DoD).
Brinda la latitud, longitud y altura en el sistema de
coordenadas global (planeta) que puede usarse para
consultar un Sistema de Información Geográfica (SIG)
Brinda los 3 grados de libertad de la posición del
usuario
Realidad Aumentada | María José Abásolo | Facultad Inform
57. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Dispositivos de tracking
Dispositivos de tracking
GPS (Global Positional System)
Para mejorar la exactitud del valor que brinda puede
usarse lo que se denomina DGPS o GPS diferencial,
donde se usa la ubicación exacta ya calibrada de una
estación base la cual computa y transmite el error
introducido el cual es utilizado por los receptores GPS
para corregir su posición
Error estación base = posición calibrada - posición recibida
por GPS
Realidad Aumentada | María José Abásolo | Facultad Inform
58. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Dispositivos de tracking
Dispositivos de tracking
GPS (Global Positional System)
El A-GPS (Assisted GPS) o GPS asistido es un
sistema de posicionamiento por satélite que al
iniciarse recoge las coordenadas de las antenas
para teléfonos móviles y así ubica los satélites de
posicionamiento global de una forma más rápida y
eficiente
Fue desarrollado para mejorar el funcionamiento del
sistema y se suele usar en dispositivos móviles
Realidad Aumentada | María José Abásolo | Facultad Inform
59. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Dispositivos de tracking
Dispositivos de tracking
GPS (Global Positional System)
Para obtener los 6 DOF se necesita conocer, además
de los datos de posición de GPS, los 3 grados de
libertad de la orientación del usuario
El GPS se debe combinar con otro dispositivo como por
ejemplo una brújula
Realidad Aumentada | María José Abásolo | Facultad Inform
60. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Dispositivos de tracking
Dispositivos de tracking
Brújula digital
Al igual que una brújula convencional brinda la orientación
en un sistema global
Las brújulas que se encuentran en los teléfonos móviles
son denominadas brújulas de estado sólido, generalmente
construidas mediante sensores de campo magnético que
envían señales a un microprocesador.
La ventaja con respecto al uso de sensores inerciales es
que brindan un resultado con error constante, el cual
puede precalibrarse durante la instalación del sistema.
Realidad Aumentada | María José Abásolo | Facultad Inform
61. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking
El tracking puede realizarse de muchas maneras
Tracking basado en dispositivos
Tracking basado en video
Tracking híbrido: combinación de ambos
Realidad Aumentada | María José Abásolo | Facultad Inform
62. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Tracking videométrico
Tracking
videométrico
Una cámara captura video de la escena real
Se analiza el video cuadro a cuadro por medio
de algoritmos de visión por computadora para
localizar características (elementos de referencia
en el mundo real) que ayuden a deducir el
cambio de posición y orientación de la cámara
en cada instante
Realidad Aumentada | María José Abásolo | Facultad Inform
63. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Tracking videométrico
El
tracking videométrico puede hacerse:
Tracking de marcadores
Tracking de una imagen
Tracking sin conocer la escena real
Realidad Aumentada | María José Abásolo | Facultad Inform
64. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Tracking videométrico
Tracking
videométrico puede hacerse:
Tracking de marcadores
Tracking de una imagen
Tracking sin conocer la escena real
Realidad Aumentada | María José Abásolo | Facultad Inform
65. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Tracking videométrico
Tracking
de marcadores
video http://www.youtube.com/watch?v=HgrJ3gwwP94
Realidad Aumentada | María José Abásolo | Facultad Inform
66. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Tracking videométrico
Tracking
de marcadores
Un marcador, denominado en inglés “fiducial
marker”, es una imagen 2D impresa con un formato
específico conocido por la aplicación de tracking
Hay diferentes formatos de marcadores creados por
diferentes aplicaciones y para diferentes propósitos
Las aplicaciones de realidad aumentada basada en
marcadores son las más populares
Realidad Aumentada | María José Abásolo | Facultad Inform
67. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Tracking videométrico
Tracking
de marcadores
El algoritmo de detección de marcador busca en
cada imagen del video los puntos pertenecientes
al marcador
A partir de la obtención de los puntos 2D del
marcador en la imagen dado que se conoce
cómo es el marcador en la realidad se puede
estimar su posición y orientación en el espacio
en relación a la cámara
Con esta información pueden superponerse
objetos virtuales “registrados”
Realidad Aumentada | María José Abásolo | Facultad Inform
68. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Tracking videométrico
Tracking
de marcadores
Marcadores de tipo “template”
Marcador de tipo “template”
Realidad Aumentada | María José Abásolo | Facultad Inform
69. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Tracking videométrico
Tracking
de marcadores
Marcadores de tipo “template”
Son muy conocidos dado que son los utilizados por
la librería ARToolkit
El formato es un cuadrado negro y dentro un
cuadrado blanco que tiene dentro una imagen
asimétrica en negro.
Es posible crear nuevos marcadores respetando
este formato y entrenando previamente a la
aplicación para incorporar el marcador a la base de
datos de marcadores conocidos.
Realidad Aumentada | María José Abásolo | Facultad Inform
70. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Tracking videométrico
Tracking
de marcadores
Marcadores de tipo “ID-marker”
Marcador de tipo “ID-marker”
Realidad Aumentada | María José Abásolo | Facultad Inform
71. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Tracking videométrico
Tracking
de marcadores
Marcadores de tipo “ID-marker”
Codifican un número de 9-bits (hasta 512 diferentes) en
un patrón de 6 x 6, repitiendo los 9 bits 4 veces
completando los 36 bits.
Una variante de estos marcadores son los denominados
BCH (Bose, Ray-Chaudhuri, Hocquenghem), los cuales
son más robustos ya que usa un algoritmo avanzado de
chequeos de redundancia cíclica (CRC). Se incrementa el
número de marcadores disponibles a un total de 4096.
Este tipo de marcadores o una variante de los mismos
son los utilizados por librerías sucesoras de ARToolkit
como ARTag y ARToolkitPlus.
Realidad Aumentada | María José Abásolo | Facultad Inform
72. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Tracking videométrico
Tracking
de marcadores
Marcadores de tipo “DataMatrix” y “QRCode”
Marcador de tipo “DataMatrix”
Marcador de tipo “QRCode”
Realidad Aumentada | María José Abásolo | Facultad Inform
73. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Tracking videométrico
Tracking
de marcadores
Marcadores de tipo “DataMatrix” y “QRCode”
No fueron diseñados específicamente para realidad
aumentada. Su uso principal se asocia a los hipervínculos
Codifican una serie de caracteres ASCII
Uno de los usos más comunes es la codificación de una
URL de forma que una aplicación al leerlos y decodificarlos
pueda derivar al sitio web codificado
Por ejemplo: puedes encontrar en los comercios un poster
de la AFIP con estos marcadores para derivar a su sitio web
Realidad Aumentada | María José Abásolo | Facultad Inform
74. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Tracking videométrico
Tracking
de marcadores
Marcadores de tipo “DataMatrix” y “QRCode”
Mientras que los DataMatrix pueden almancenar hasta 2335
caracteres, los QRCode almacenan 4296 caracteres.
QRCode incluye además símbolos japoneses.
Existen algunas aplicaciones de realidad aumentada que
utilizan dichos códigos no solo con el propósito mencionado
sino como marcadores para tracking. En particular,
ARToolkitPlus reconoce DataMatrix.
Realidad Aumentada | María José Abásolo | Facultad Inform
75. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Tracking videométrico
Tracking
Ventajas de tracking de marcadores:
de marcadores
Robusta
Computacionalmente eficiente
Desventajas de tracking de marcadores:
Los marcadores son visibles para los usuarios
interfiriendo con la escena real
Realidad Aumentada | María José Abásolo | Facultad Inform
76. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Tracking videométrico
Tracking
videométrico puede hacerse:
Tracking de marcadores
Tracking de una imagen
Tracking sin conocer la escena real
Realidad Aumentada | María José Abásolo | Facultad Inform
77. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Tracking videométrico
Tracking
de una imagen
video http://www.youtube.com/watch?v=UTPZDrq4hWg
Realidad Aumentada | María José Abásolo | Facultad Inform
78. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Tracking videométrico
Tracking
de una imagen
A veces no se puede o no se desea poner
marcadores en una escena y en cambio utilizar
una imagen con el mismo propósito
Para cada objeto en una imagen hay muchas
características o puntos de interés del objeto que
pueden extraerse para proveer una descripción
del mismo
En ese caso se pueden realizar el seguimiento de
características naturales presentes en la imagen
de la escena como son bordes, esquinas y
texturas
Realidad Aumentada | María José Abásolo | Facultad Inform
79. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Tracking videométrico
Tracking
videométrico puede hacerse:
Tracking de marcadores
Tracking de una imagen
Tracking sin conocer la escena real
Realidad Aumentada | María José Abásolo | Facultad Inform
80. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Tracking videométrico
Tracking
sin conocimiento de la escena
video http://www.youtube.com/watch?v=pBI5HwitBX4
Realidad Aumentada | María José Abásolo | Facultad Inform
81. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Tracking videométrico
Tracking
sin conocimiento de la escena
Tanto los algoritmos de tracking de marcadores
como de imágenes implican conocer cómo es el
marcador o la imagen respectivamente
Existen algoritmos utilizados en robótica que
permiten realizar un tracking de un objeto sin
tener conocimiento del mismo
SLAM (Simultaneous Localization and Mapping)
Realidad Aumentada | María José Abásolo | Facultad Inform
82. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking
El tracking puede realizarse de muchas maneras
Tracking basado en dispositivos
Tracking basado en video
Tracking híbrido: combinación de ambos
Realidad Aumentada | María José Abásolo | Facultad Inform
83. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Tracking híbrido
Tracking
Tanto el tracking basado en dispositivos físicos como
el tracking videométrico tienen sus ventajas y
desventajas
híbrido
El tracking basado en visión es lento y por ende falla en
movimientos rápidos. Su ventaja es su estabilidad a largo
plazo
El tracking inercial es rápido pero puede tener
acumulación de errores a largo plazo
Para aprovechar las ventajas de ambos algunas
técnicas combinan la salida de dispositivos físicos y
el análisis de video
Realidad Aumentada | María José Abásolo | Facultad Inform
84. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Tracking | Tracking híbrido
Tracking
híbrido
Los sensores (inerciales, giroscopios, GPS) permiten
predecir la posición de la cámara y la misma puede
refinarse utilizando técnicas de visión
Efectivo para aplicaciones que requieren estimar la
posición de una cámara en movimiento con respecto
a una escena estática, pero no se aplica al tracking
de objetos en movimiento con una cámara estática
Realidad Aumentada | María José Abásolo | Facultad Inform
85. M2- Dispositivos de entrada y
salida
Dispositivos
de entrada
Captura
Tracking
Interacción: Comandos de Entrada
Realidad Aumentada | María José Abásolo | Facultad Inform
86. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Comandos de entrada
El
usuario transmite sus deseos al sistema
mediante comandos de entrada
Para comandos de entrada se pueden
utilizar
Controles físicos
Control del habla
Control por gestos
Realidad Aumentada | María José Abásolo | Facultad Inform
87. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Comandos de entrada
Controles físicos
Entradas físicas directas en el sistema
Pantalla táctil, puntero, mouse, botones, interruptores,
potenciómetros
En RV se utilizan
Props
Plataformas
Realidad Aumentada | María José Abásolo | Facultad Inform
88. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Comandos de entrada
Controles físicos
Props
Realidad Aumentada | María José Abásolo | Facultad Inform
89. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Comandos de entrada
Controles físicos
Props
Son objetos físicos utilizados para representar algún
objeto dentro del mundo virtual
Al ser reales, permiten al usuario una manipulación fácil
del objeto
Hacen el mundo virtual un poco más real
Realidad Aumentada | María José Abásolo | Facultad Inform
90. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Comandos de entrada
Control del habla
Es un método natural de comunicar la información
No es adecuado si se necesita una respuesta
inmediata
Es adecuado si se tiene las manos ocupadas
Depende del usuario
Realidad Aumentada | María José Abásolo | Facultad Inform
91. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Comandos de entrada
Control por gestos
Es un método natural de comunicar la información
en el que se basan nuevas metáforas de interacción
Gestos con manos y dedos
Dirección de la mirada
Requiere de técnicas de visión por computador o el
uso de dispositivos especiales para el tracking de
manos y dedos o cabeza
Realidad Aumentada | María José Abásolo | Facultad Inform
92. M2- Dispositivos de entrada y salida
Dispositivos de entrada
Comandos de entrada
Control por gestos
‘Multimodal interaction with a wearable augmented reality system’ Kölsch M. et al.
IEEE Computer Graphics and Applications 26(3): 62-71, 2006
Realidad Aumentada | María José Abásolo | Facultad Inform
93. M2- Dispositivos de entrada y
salida
Necesidades
de un sistema de RA
Dispositivos de entrada
Dispositivos de salida
Visuales
Auditivas
Táctiles
Realidad Aumentada | María José Abásolo | Facultad Inform
94. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas visuales
Los
dispositivos de visualización se dividen
Estacionarios o estáticos
Móviles oclusivos
Móviles no oclusivos
Realidad Aumentada | María José Abásolo | Facultad Inform
95. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas visuales
Los
Estacionarios o estáticos
dispositivos de visualización se dividen
Monitor
Proyector (Caves, WorkBench, ICON, RA espacial)
Móviles oclusivos
Móviles no oclusivos
Realidad Aumentada | María José Abásolo | Facultad Inform
96. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas visuales
Los
Estacionarios o estáticos
Monitor
Proyector (Caves, WorkBench, ICON, RA espacial)
Móviles oclusivos
dispositivos de visualización se dividen
HMD (Head-Mounted Display) o cascos de RV
Gafas de RA de “video see through”
Móviles no oclusivos
Realidad Aumentada | María José Abásolo | Facultad Inform
97. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas visuales
Los
Estacionarios o estáticos
Monitor
Proyector (Caves, WorkBench, ICON, RA espacial)
Móviles oclusivos
dispositivos de visualización se dividen
HMD (Head-Mounted Display) o cascos de RV
Gafas de RA de “video see through”
Móviles no oclusivos
Gafas de RA “optical see-through”
Dispositivos “hand-held” (tablet, teléfonos celulares)
Realidad Aumentada | María José Abásolo | Facultad Inform
98. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas visuales
Los dispositivos de visualización se diferencian
según las siguientes propiedades:
Resolución, color, contraste, brillo
Número de canales
Distancia focal
Campo de visión y campo de mirada
Opacidad
Posición de la cabeza
Latencia y velocidad de refresco
Realidad Aumentada | María José Abásolo | Facultad Inform
99. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas visuales
Los dispositivos de visualización también se
diferencian según las siguientes cualidades
logísticas:
Movilidad del usuario
Interfaz con el tracking
Requisitos del entorno
Portabilidad
Seguridad
Coste
Realidad Aumentada | María José Abásolo | Facultad Inform
100. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas visuales
Uso
del monitor en RA
cámara
monitor
usuario
Realidad Aumentada | María José Abásolo | Facultad Inform
101. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas visuales
Esquema
del uso del monitor en RA
El dispositivo de tracking no se usa si el tracking
es videométrico
Realidad Aumentada | María José Abásolo | Facultad Inform
102. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas visuales
Uso
de dispositivos “hand-held” en RA
Cámara integrada
Sensores de tracking
integrados
pantalla
Usuario sostiene el
dispositivo
Realidad Aumentada | María José Abásolo | Facultad Inform
103. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas visuales
El
esquema de uso de dispositivos “handheld” en RA es similar al del monitor
Realidad Aumentada | María José Abásolo | Facultad Inform
104. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas visuales
Uso
de gafas de gafas “optical see-through”
No hay cámara si tracking no es
en RA
basado en video
Puede integrar dispositivo
de tracking
Gafas transparentes
Monitor para
escena virtual
que se combina
ópticamente con la
escena real
visualizada por
transparencia de las
gafas
Usuario se
pone las
gafas
Realidad Aumentada | María José Abásolo | Facultad Inform
105. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas visuales
Esquema del uso de gafas “optical see-through” en
RA
Realidad Aumentada | María José Abásolo | Facultad Inform
106. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas visuales
Uso
de gafas “video see-through” en RA
Cámara y dispositivo de tracking
HMD oclusivo
Realidad Aumentada | María José Abásolo | Facultad Inform
107. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas visuales
Esquema del uso de gafas “video see-through” en
RA
Realidad Aumentada | María José Abásolo | Facultad Inform
108. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas visuales
Gafas
“video see-through” VS “optical seethrough” en RA
1) Simplicidad (optical+)
Los sistemas ópticos tienen solo un "stream" de video para
tratar: los gráficos sintéticos. El mundo real se ve directamente
a través de los combinadores ópticos.
Los sistemas de video blending deben tratar con dos streams
de video separados para el mundo real y el virtual. Ambos
streams tienen retrasos del orden de las décimas de
milisegundos, y deben ser adecuadamente sincronizados para
evitar la distorción temporal
Realidad Aumentada | María José Abásolo | Facultad Inform
109. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas visuales
Gafas
“video see-through” VS “optical seethrough” en RA
2) Resolución (optical+)
El video blending limita la resolución de lo que el usuario ve,
tanto real como virtual, a la resolución del dispositivo display.
Los sistemas ópticos también muestran los gráficos con la
resolución del dispositivo display, pero el usuario ve la realidad
sin degradar.
Realidad Aumentada | María José Abásolo | Facultad Inform
110. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas visuales
Gafas
“video see-through” VS “optical seethrough” en RA
3) Seguridad (optical+)
Los Video see-through HMDs son en esencia closed-view
HMDs modificados (los usados en RV que solo muestran
mundo virtual). Si se corta la corriente el usuario estará “ciego”
y esta es una cuestión concerniente a la seguridad en algunas
aplicaciones.
En contraste, cuando la corriente se corta en un sistema optical
seethrough HMD, el usuario tiene la vista del mundo real.
Realidad Aumentada | María José Abásolo | Facultad Inform
111. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas visuales
Gafas “video see-through” VS “optical see-through”
en RA
4) Desplazamiento de los ojos (optical+)
Con video see-through, la vista del mundo real se obtiene
mediante video camaras. Video see-through puede evitar el
problema de la separación de los ojos mediante el uso de
espejos para imitar lo que verían los ojos. Sin embargo, esto le
agrega complejidad al diseño del sistema HMD.
El desplazamiento de ojos no suele ser un problema en los
sistemas ópticos. Usando el centro de rotación de los ojos
como el punto de vista en el modelo del mundo virtual debería
eliminar la necesidad del tracking exacto de los ojos.
Realidad Aumentada | María José Abásolo | Facultad Inform
112. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas visuales
Gafas “video see-through” VS “optical see-through”
en RA
5) Flexibilidad en la composición (Video+)
Un problema básico de los sistemas ópticos es que los
objetos virtuales no “tapan” completamente los objetos
reales, por la forma en que funcionan los combinadores
ópticos que permiten luz del mundo real y del virtual. Hacer
un sistema óptico que selectivamente “apague” la luz del
mundo real aumenta la complejidad del diseño. Los objetos
virtuales aparecen semitransparentes y esto puede dañar la
ilusión de realidad si se requiere.
En contrastes, el video see-through es más flexible en cómo
mezcla el mundo real y el virtual, ya que ambos están
disponibles en forma digital. Se puede componer pixel a
pixel tomando o bien el mundo real o el virtual, o
mezclándolos si se quiere sensación de transparencia
Realidad Aumentada | María José Abásolo | Facultad Inform
113. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas visuales
Gafas
“video see-through” VS “optical seethrough” en RA
6) Campo de visión (Video+)
En un sistema de video blending, las imágenes digitales
capturadas puede procesarse para compensar la distorsión que
ocasiona la cámara.
Sin embargo, es más complicado construir displays con
técnicas ópticas que tengan un amplio campo de visión.
Cualquier distorsión debe corregirse ópticamente en lugar de
digitalmente. Esto agrega complejidad a la óptica y las hace
caras y le agrega peso al HMD.
Realidad Aumentada | María José Abásolo | Facultad Inform
114. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas visuales
Gafas
“video see-through” VS “optical seethrough” en RA
7) Retrasos entre la vista real y virtual (video+)
Los sistemas ópticos ofrecen una vista instantánea del mundo
real pero una vista retrasada del mundo virtual, y esta
incoherencia tempotal puede causar problemas.
Con los sistemas de video es posible retrasar el video del
mundo real para coincidir con el retraso del stream del mundo
virtual.
Realidad Aumentada | María José Abásolo | Facultad Inform
115. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas visuales
Gafas
“video see-through” VS “optical seethrough” en RA
8) Estrategias para el registro del mundo virtual (video+)
En los sistemas ópticos, la única información acerca de la
ubicación de la cabeza del usuario viene del dispositivo de
tracking de cabeza.
En los sistemas de video blending, se tiene otra fuente de
información: la imagen digitalizada del mundo real, con lo cual
pueden usarse técnicas de visión para el registro de imágenes
que no estaría disponible en los sistemas ópticos.
Realidad Aumentada | María José Abásolo | Facultad Inform
116. M2- Dispositivos de entrada y
salida
Necesidades
de un sistema de RA
Dispositivos de entrada
Dispositivos de salida
Visuales
Auditivas
Táctiles
Realidad Aumentada | María José Abásolo | Facultad Inform
117. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas auditivas
Las
Estacionarios o estáticos
salidas auditivas pueden clasificarse en
parlantes
Móviles con la cabeza
auriculares
Realidad Aumentada | María José Abásolo | Facultad Inform
118. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas auditivas
Las
salidas auditivas pueden distinguirse
por las siguientes propiedades
Número de canales
Entorno de sonido
Localización
Oclusión
Amplificación
Realidad Aumentada | María José Abásolo | Facultad Inform
119. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas auditivas
Las
salidas auditivas también pueden
distinguirse por las siguientes cualidades
logísticas
Contaminación por ruido
Movilidad del usuario
Requisitos del entorno
Portabilidad
Seguridad
Coste
Realidad Aumentada | María José Abásolo | Facultad Inform
120. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas auditivas
Parlantes
VS auriculares
Las ventajas de los parlantes
Trabajan bien con los visualizadores estacionarios
No requieren el procesado del sonido para crear
sonidos referenciados al mundo (estables en el
mundo virtual)
Permiten más movilidad al usuario (cables)
Realidad Aumentada | María José Abásolo | Facultad Inform
121. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas auditivas
Parlantes
VS auriculares
Las ventajas de los auriculares
Trabajan bien con los visualizadores dinámicos
La implementación de sonidos referenciados a la
cabeza es más fácil de implementar
Es más sencillo eliminar los ruidos de la habitación
Son más portables
Privados
Realidad Aumentada | María José Abásolo | Facultad Inform
122. M2- Dispositivos de entrada y
salida
Necesidades
de un sistema de RA
Dispositivos de entrada
Dispositivos de salida
Visuales
Auditivas
Táctiles
Realidad Aumentada | María José Abásolo | Facultad Inform
123. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas táctiles
Las
salidas táctiles pueden clasificarse en:
Percepción kinestética (propriocéptica)
Percepción táctil
Realidad Aumentada | María José Abásolo | Facultad Inform
124. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas táctiles
Las
salidas táctiles pueden clasificarse en:
Realidad Aumentada | María José Abásolo | Facultad Inform
125. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas táctiles
Las
salidas táctiles pueden distinguirse
según sus propiedades:
Pistas kinestéticas
Fidelidad
Pistas táctiles
Latencia
Contacto
Resolución
Grados de libertad
Refresco
Forma
Tamaño
Realidad Aumentada | María José Abásolo | Facultad Inform
126. M2- Dispositivos de entrada y salida
Dispositivos de salida
Salidas táctiles
Las
salidas táctiles pueden además
distinguirse según sus cualidades logísticas:
Movilidad del usuario
Requisitos del entorno
Portabilidad
Seguridad
Coste
Realidad Aumentada | María José Abásolo | Facultad Inform