M4 Librerias y software de authoring de RA

REALIDAD
AUMENTADA
Profesora:
María José Abásolo
Universidad Nacional de La Plata

Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013

Contenidos
MÓDULO 1
Introducción a Realidad Aumentada (RA)
 MÓDULO 2
Dispositivos de entrada y salida
 MÓDULO 3
Fundamentos teóricos
 MÓDULO 4
Librerías y authoring de RA


Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013

M4- Librerías y authoring de RA

Software de RA
 En

la etapa de diseño de una aplicación
de RA quedará definidas algunas
cuestiones




Cómo visualizará la escena real aumentada el usuario
Cómo se realizará el tracking del usuario
Cómo será la interfaz de usuario

Realidad Aumentada | María José Abásolo | Facultad Inform


Software de RA
 Las

aplicaciones de RA involucran la
creación “a priori” de la información a
aumentar


Edición de la información







Escena con objetos 3D
Videos/imágenes
Texto
Sonidos

Asociación de la información creada con una ubicación
en el espacio real 3D



Software de RA
 Para

crear o editar la información a
“aumentar”


Podrán utilizarse las herramientas específicas de
edición según el formato de la información




En caso de escenas 3D sencillas los programadores
podrán hacerlo invocando las librerías gráficas

La asociación de la información con una
ubicación en el espacio real podrá hacerse



Mediante programación
Mediante la utilización de una herramienta de autor
específica



Software de RA
 Como

vimos en el esquema de una
aplicación de RA pueden existir las
siguientes partes que se ejecutarán en
tiempo real




Captura de la escena
Seguimiento del usuario (tracking)
Visualización (rendering) de la escena aumentada




Generación de la vista de la escena virtual (de acuerdo
al resultado del tracking)
Combinación de la escena real con la escena virtual



Software de RA
Esquema de RA
captura

tracking
Posición y orientación

Video o visión directa
del mundo real

generador de escena virtual
Proyección de
la escena virtual
(gráficos 3d) y
otros elementos
virtuales

combinador

Imagen real + objetos virtuales
registrados


Software de RA
Esquema de RA

con tracking basado en visión

captura

tracking
Posición y orientación

Video o visión directa
del mundo real

generador de escena virtual
Proyección de
la escena virtual
(gráficos 3d) y
otros elementos
virtuales

combinador

Imagen real + objetos virtuales
registrados


Software de RA
 Para


crear una aplicación de RA

Los programadores “expertos” pueden utilizar
 Librerías de “bajo nivel” específicas para cada
parte de la aplicación




Librerías de captura de video
Librerías de tracking
Librerías gráficas 3D

“Frameworks” y “SDK” de aplicaciones de RA
Algunas librerías son de código abierto
permitiendo a los programadores su
adaptación, otras en cambio son de libre uso
pero no se puede acceder al código






Software de RA
 Para


crear una aplicación de RA

Los NO programadores pueden utilizar
herramientas de autor para la creación de
aplicaciones de RA



Software de RA
 Dentro

las librerías y herramientas de autor
podemos diferenciar


Aplicaciones para PC




Aplicaciones web

Aplicaciones para teléfonos móviles



Software de RA móviles








Los dispositivos móviles cuentan con menos capacidad
de procesamiento y memoria que las PC
Una de las restricciones importantes es la batería
Entre los sistemas operativos más importantes se
enumeran Symbian, Windows Mobile, Android, iOS
(para Iphone)
Pese a que las plataformas anteriores son programables
son mutuamente incompatibles, lo que hace el diseño de
software “cross-platform” más dificultoso
Aún entre diferentes modelos de dispositivos que
soportan el mismo sistema operativo puede haber
pequeñas incompatibilidades del hardware de bajo nivel
que requiere recompilación para cada modelo






Las aplicaciones tradicionales de RA que utilizaban
dispositivos de visualización en la cabeza o HMD,
dejaba las manos libres al usuario para interactuar con
el contenido virtual mediante dispositivos como mouse,
guantes digitales, o inclusive mediante gestos
En las aplicaciones de RA que utilizan dispositivos
sostenidos por las manos (handheld) el usuario mira a
través de la pantalla del dispositivo y se necesita al
menos una mano para sostenerlo. Por lo tanto, la
interfaz de usuario de esas aplicaciones será diferente a
las utilizadas por las aplicaciones tradicionales de RA.



Comunmente el usuario realizará las entradas mediante







Movimiento del dispositivo
Teclado del dispositivo
Lápiz o dedo sobre la pantalla táctil










El tracking en dispositivos “hand-held” fuerza
ciertas restricciones no presentes en otras
configuraciones basadas en PC
Los sensores externos generalmente no son
posibles ya además de su alto coste, los
dispositivos móviles son pequeños y no tienen la
interfase necesaria para conectarlos.
Actualmente existen móviles con GPS y sensores
como acelerómetros y giroscopios incorporados
El software de tracking tiene que diseñarse
específicamente para correr bajo estas
plataformas restringidas







El tracking de marcadores (“fiducial markers”) es
una de las estrategias más usadas ya que es
robusta y computacionalmente eficiente
El tracking basado en características naturales
resulta más atractivo dado que no se necesita la
invasión de marcadores. Pueden encontrarse
implementaciones recientes de este tipo de tracking
para teléfonos celulares





Existen implementaciones para móviles de tracking basado en
seguimiento características naturales


Algoritmo SIFT
Wagner Daniel et al. Pose Tracking from Natural Features on Mobile
Phones International Symposium on Mixed and Augmented Reality http://www.icg.tu-graz.ac.at/pub/pdf/WAGNER_ISMAR08_NFT.pdf
Algoritmo SURF
 Takacs, G., Chandrasekhar, V., Gelfand, N., Xiong, Y., Chen, W.C.,Bismpigiannis, T., Grzeszczuk, R., Pulli, K., and Girod, B., Outdoors
Augmented Reality on Mobile Phone using Loxel-Based Visual Feature
Organization, IEEE Transactions on Pattern Analysis and Machine
Intelligence (PAMI), 2008






 Características


de dispositivos móviles

La tecnología cambia muy rápido y
recientemente hubo un gran salto en los
teléfonos celulares (2010-2011)






NVIDIA® Tegra™ 2 es el primer superchip destinado al mercado de los
dispositivos móviles, ofrece alta capacidad multitarea gracias a la
primera CPU de doble núcleo del sector CPU ARM Cortex-A9 dual core
1,2GHz , el rendimiento de juego de una consola gracias a su GPU
NVIDIA® GeForce® ULP (muy bajo consumo).
Otra opción similar ofrece el teléfonoc celular Samsung Galaxy SII con
procesador Exynos 4210 doble núcleo 1.2GHz, 16Gb de memoria,
integra un chip gráfico Mali400
El teléfono Iphone 4 cuenta con procesador Apple A4 fabricado por

Samsung ARM Cortex A8 Core de 1 GHz, memoria de 16 o 32Mb,
procesador gráfico PowerVR, sensores como giroscopio de 3 ejes,
acelerómetro y localización vía AGPS y brújula digital



Software de RA
A

continuación se enumerarán las librerías y
herramientas de autor que dentro de este
módulo detallaremos


Para una lista exhaustiva visitar la lista
actualizada que mantiene Daniel Wagner
http://www.icg.tugraz.at/Members/gerhard/augme
nted-reality-sdks



Software de RA (PC)
 Aplicaciones


para PC

Librerías de tracking basado en marcadores
 ARToolkit



FLARToolkit
NyARToolkit

ARTag
 ARToolkitPlus




Software de RA (PC)
 Aplicaciones


Librerías de tracking basado en imágenes




para PC

IN2AR

Frameworks para programadores


StudierStube



Software de RA (PC)
 Aplicaciones


para PC

Herramientas de autor para NO programadores


Amire Authoring Tool

DART
 Atomic






Atomic Web

BuildAR



Software de RA (móviles)
 Aplicaciones




para teléfonos móviles

 ARToolkitPlus
String
 Qualcomm AR
Browsers de RA
 Wikitude
 Layar
 junaio






Software de RA
A

continuación se detalla cada librería y/o
herramienta de autor enumerada
previamente



Notar si es para PC/web/móvil
Notar si es de código abierto/free/uso
comercial/etc.



Software de RA (PC)
ARToolkit (ARTK)








www.hitl.washington.edu/artoolkit
Hirokazu Kato, Mark Billinghurst. Marker Tracking and HMD
Calibration for a video-based Augmented Reality
Conferencing System. Proceedings of the 2nd International
Workshop on Augmented Reality (IWAR 99). pages 85-94,
1999, USA.
Librería para tracking de marcadores
Enormemente popular dado que ARToolKit es una librería C
de distribución gratuita para uso en aplicaciones no
comerciales y distribuida como open-source bajo licencia
GPL
Está bien documentada y hay muchos ejemplos disponibles



Software de RA (PC)
ARToolkit (ARTK)
 Si

bien es una librería de tracking de
marcadores, incluye también


Para captura de video:
 llamadas



a la librería DirectShow

Para gráficos 3D:
 llamadas

a la librería OpenGL
 carga de modelos VRML



Software de RA (PC)
ARToolkit (ARTK)



Software de RA (PC)
ARToolkit (ARTK)
1.
2.
3.
4.
5.
6.

La cámara captura cada frame de video
Se realiza una búsqueda por software en cada frame de formas
cuadradas
Si se encuentra un cuadrado, el software calcula la posición de la
cámara en relación al cuadrado
Una vez que se conoce la posición del marcador, se dibuja un
modelo 3d en la misma posición
El modelo 3D se dibuja encima del video del mundo real y por esto
aparece superpuesto
El video resultado se muestra en el dispositivo de visualización, y
por esto cuando se mira a través de el se ven los gráficos
superpuestos sobre el mundo real



Software de RA (PC)
ARToolkit (ARTK)


Marcadores de tipo “template markers”
 se usan en la librería ARToolkit
 el formato es un cuadrado negro y dentro un
cuadrado blanco que tiene una imagen asimétrica
en negro



Software de RA (PC)
ARToolkit (ARTK)


Marcadores de tipo “template markers”
 Se necesita cargar un fichero donde está definido
el marcador
 Es posible crear nuevos marcadores



Respetar el formato
Entrenar a ARToolkit para que reconozca el nuevo
marcador



Software de RA (PC)
ARToolkit (ARTK)


Se dibuja la escena virtual utilizando las librerías
gráficas OpenGL que tiene:
1.

Una pantalla de fondo con la imagen capturada (video

2.

frame) pegada como textura
El objeto 3D que sufre una transformación de acuerdo a la
matriz de transformación estimada

T he sim ple program running - a virtual block aligned with a real m arker



Software de RA (PC)
ARToolkit (ARTK)


Limitaciones de ARToolkit



Los objetos virtuales solamente aparecen cuando los
marcadores son totalmente visibles
El rango de distancia está limitado





Cuanto más largo sea el patrón físico se detectará a mayor
distancia
Los patrones que tienen grandes areas blancas y negras
(baja frecuencia) son los más efectivos

A medida que los marcadores se vuelven más
horizontales menos se visualiza el centro del marcador
y por tanto el reconocimiento es menos confiable



Software de RA (PC)
ARToolkit (ARTK)


Limitaciones de ARToolkit
Los resultados del tracking se ven afectados por las
condiciones lumínicas
 Para reducir el reflejo los marcadores puede ser de
un material no reflectivo como papel-terciopelo




Software de RA (PC)
ARToolkit (ARTK)
 Limitaciones


de ARToolkit

El algoritmo para detectar rectángulos se basa en un
thresholding de la imagen y el seguimiento (scan-line)
de un primer borde encontrado hasta que se completa
la detección de los 4 bordes
 Este algoritmo no detecta el marcador si uno de los
4 bordes está incompleto
 Solamente detecta marcadores incompletos en el
caso de usar una configuración espacial fija de
múltiples marcadores



Software de RA (PC)
ARToolkit (ARTK)




Debido a que el algoritmo de detección de rectángulos trabaja
con una precisión de subpixels, aún cuando el marcador
permanece fijo la matriz puede variar, produciendo que el
objeto virtual “parpadee” (“jitter”) en su posición
Hay dos maneras de realizar el tracking de los marcadores:



Cada frame se analiza independientemente de los anteriores
Se considera la historia de los frames y si la matriz no cambia
demasiado se toma el valor del frame anterior, esto puede
disminuir el parpadeo de los objetos (“jitter”) se puede habilitar



Software de RA (PC)
ARToolkit (ARTK)


Provee dos tipos de calibración


1 fase, fácil y menos preciso, suficiente para superposición de imágenes
(run calib_camera2)




Usa el patron de puntos para estimar a la vez tanto los parametros de
distorsion como la matriz de proyección

2 fases, más preciso, necesario si se quiere realizar mediciones en 3D
(run calib_dist y luego calib_cparam)




Primero usa el patron de puntos para estimar los parametros de
distorsion
Luego, usando el patron de lineas y en base a los parametros de
distorsion estima los parametros de la matriz de proyección



Software de RA (PC)
ARToolkit (ARTK)


Calibración de cámara





En caso de no realizar la calibración puede usarse una
calibración por defecto (los parametros están en el archivo
camera_param.dat)
Mediante cualquiera de los dos métodos de calibración se
genera un nuevo archivo con parámetros de calibración
La estructura que contiene los parametros de calibración es




typedef struct {

int xsize, ysize; centro
double mat[3][4];
Matriz de proyección
double dist_factor[4];
4 coeficientes de distorsión
} ARParam;
Invocación para cargar los parámetros desde archivo:
ARParam wparam;
arParamLoad(nombre_archivo, 1, &wparam)



Software de RA
ARToolkit (ARTK)


Existen versiones de ARToolkit en otros lenguajes:


NyARToolkit
 http://nyatla.jp/nyartoolkit/wiki/index.php
 Existen versiones en







Java,
Processing,
Android (SO para móviles basado en GNU/Linux),
C# y C++

FLARToolkit
 http://www.libspark.org/wiki/saqoosha/FLARToolKit/en
 Versión ActionScript 3(lenguaje utilizado en aplicaciones
web realizadas en el entorno Adobe Flash)



Software de RA (PC)
ARTag








http://www.artag.net/
Mark Fiala, ARTag, An Improved Marker System
Based on ARToolkit. National Research Council
Canada, Publication Number: NRC: 47419, 2004.
ARTag se inspiró en ARToolkit
ARTag usa un procesamiento de imágenes más
complejo para lograr más alta confiabilidad e
inmunidad a cambios de iluminación
Por problemas contractuales del autor dejó de estar
disponible por el momento



Software de RA (PC)
ARTag
 Marcadores

de tipo “ID Marker”



Codifican un número de 9-bits en un patron de
6x6. Los 9 bits se repiten 4 veces para llenar los
36 bits



Blanco y negro, con borde negro y dentro una
grilla de 6x6 representando con 1 y 0 según sea
blanco o negro



Software de RA (PC)
ARTag


Marcadores de tipo “ID Marker”





Cientos de marcadores diferentes sin necesidad de
entrenamiento
Más rápido que usar “template markers” (como en
ARToolkit) sobre todo al aumentar el número de
marcadores presentes.
La librería ARTag y como veremos ARToolkit Plus utilizan
dos versiones diferentes de este tipo de marcadores



Software de RA (PC)
ARTag
 ARTag

no necesita ficheros de marcadores
como ARToolkit sino que tiene una librería de
2002 marcadores que pueden identificarse
de 0 a 2047 (46 ilegales)



Software de RA (PC)
ARTag




ARTag uses arrays of the square markers added to
objects or the environment allowing a computer
vision algorithm to calculate the camera "pose" in
real time
ARTag has a library of 2002 markers. No pattern
files need to be loaded (as with ARToolkit). Each
one has a number 0-2047, with (46 illegal ID's in the
11 bit range). The SDK provides a function to create
the patterns from an ID number.



Software de RA (PC)
ARTag



Software de RA (PC)
ARTag
 Ejemplo

de dos metáforas de uso:

"Magic Lens"
el usuario sostiene una tablet PC, PDA, o teléfono
celular con cámara y mira a través de el para
ver la mezcla de realidad y virtualidad.
 "Magic Mirror".
una cámara fija visualiza al usuario desde una
gran pantalla y el usuario ve su reflejo con
contenido 3D agregado.




Software de RA (PC)
ARTag


ARTag "Magic Lens"



http://www.artag.net/videos.html



Software de RA (PC)
ARTag


ARTag "Magic Mirror“



http://www.artag.net/videos.html José Abásolo | Facultad Inform
Realidad Aumentada | María


Software de RA (PC)
ARTag
 Soporta

carga de objetos 3D con formato
WRL (VRML), OBJ (Wavefront, Maya), ASE
(3D-Studio export), y tiene soporte OpenGL



Software de RA (PC)
ARTag
 Comparación


entre ARTag y ARToolkit

El algoritmo para detectar cuadriláteros se basa
en detección de bordes en lugar de usar
thresholding


Esto resulta en la detección de marcadores
parcialmente ocluidos



Software de RA (PC)
ARTag
 Comparación

ARToolkit


ARTag



Software de RA (PC)
ARTag
 Comparación



Usa la decodificación digital para identificar el
marcador en lugar de la correlación necesaria
con ARToolkit.


Esto resulta en más eficiencia y evita la falsa
detección o la confusión entre marcadores



Software de RA (PC)
ARTag
 Comparación



ARTag funciona mejor bajo condiciones de
luz variables

ARToolkit
ARTag


Software de RA (PC)


Librerías para aplicaciones de PC




Librerías de tracking de bajo nivel
 ARToolkit
 ARTag
 ARToolkitPlus
Frameworks y herramientas de autor de aplicaciones de
RA







StudierStube
Amire Authoring Tool

DART
Atomic
BuildAR



Software de RA (PC)
ARToolkit Plus (ARTK+)








Sucesor de ARToolKit optimizado y extendido tanto
para PC como para el uso en dispositivos móviles
Código fuente disponible API de clases C++
Inspirado en los marcadores de ARTag, usa
marcadores de tipo “ID markers”
No actualizado desde June 2006.
Sucedido por Studierstube Tracker



Software de RA (PC)
 Marcadores






de tipo “ID Marker”

Hasta 512 marcadores diferentes sin necesidad de
entrenamiento
Más rápido que usar “template markers” como en ARToolkit
sobre todo al aumentar el número de marcadores presentes.
Codifican un número de 9-bits en un patron de 6x6. Los 9 bits se
repiten 4 veces para llenar los 36 bits



Software de RA (PC)
 Marcadores

BCH (Bose, Ray-Chaudhuri,

Hocquenghem)




Aún más robustos que los ID markers anteriores, ya que
usa un algoritmo avanzado de chequeos de redundancia
ciclica (CRC) para restaurar marcadores dañados
Se incrementa el número de marcadores disponibles a
4096



Software de RA (PC)


Otras caracteristicas







Umbralización automática basada en la mediana de todos los
pixels del ultimo marcador detectado
Compensacion de “vignetting”

La compensacion de distorsion es computacionalmente cara,
ARTK+ puede habilitarse el uso de una lookup table para
acelerar el proceso
Para la versión PC, se puede elegir el algoritmo de estimacion
de pose RPP (Robust Planar Pose) G. Schweighofer and A. Pinz
(Inst.of l.Measurement and Measurement Signal Processing,
Graz University of Technology), que da como resultado un
tracking más estable que el algoritmo de estimación de pose de
ARToolKit



Software de RA (PC)


Dos opciones para calibración de la camara



Hereda la calibración de ARToolkit
Puede usarse un algoritmo más exacto: GML MatLab
Camera Calibration Toolbox
http://research.graphicon.ru/calibration/gml-matlab-camera



Software de RA (PC)


IN2AR




http://www.in2ar.com/
Basada en Adobe Flash (aplicaciones web)
Permite el seguimiento de cualquier imagen (en lugar del
típico marcador)



Software de RA
Studierstube




Daniel Wagner and Dieter Schmalstieg. Making
Augmented Reality Practical on Mobile Phones, Part
1. IEEE Computer Graphics and Applications,
mayo-junio 2009
Daniel Wagner and Dieter Schmalstieg. Making
Augmented Reality Practical on Mobile Phones, Part
2. IEEE Computer Graphics and Applications, julioagosto 2009



Software de RA
Studierstube
 Framework

completo para el desarrollo de
aplicaciones de RA
 StbTracker: tracking de marcadores
 Muddleware: comunicación multiusuario
 Stb SG: maneja el grafo de la escena virtual



Software de RA
Studierstube



Software de RA
Amire

 http://www.amire.net/
 AMIRE

- Authoring Mixed Reality,
Grimm P., Haller M., Paelke V., Reinhold
S., Reimann C., Zauner J., The First IEEE
International Augmented Reality Toolkit
Workshop, 29 September, 2002.
Darmstadt, GERMANY



Software de RA
Amire


El proyecto AMIRE establece la denominadas “MR
GEM” que es una colección de técnicas, algoritmos,
“code snipets” (biblioteca pública de códigos) con
soluciones eficientes a problemas de programación
comunes en aplicaciones de realidad mixta



Software de RA
Amire


El framework de RA AMIRE incluye:
 Componentes 2D y 3D que pueden configurarse
por medio de propiedades (“properties”)
 Comunicación entre componentes basada en “slot”
donde pueden intercambiar datos
 Convenciones para las componentes 2D and 3D tal
como mecanismo de “picking”
 Persistencia de la aplicación en un formato de
archivo basado en XML que contiene una lista de
dependencias de librerías, instancias de
componentes y las conexiones entre componentes



Software de RA
DART
•


http://www.cc.gatech.edu/dart/applications.htm
Blair MacIntyre, Maribeth Gandy, Jay Bolter, Steven
Dow, Brendan Hannigan. "DART: The Designer’s
Augmented Reality Toolkit." Presented as a demo
at The Second International Symposium on Mixed
and Augmented Reality (ISMAR03), pages 329-339,
October 7-10, 2003, Tokyo, Japan.



Software de RA
DART
•

•

Es una colección de extensiones del
ambiente de programación multimedia
Macromedia Director
Soporta:
•
•
•

streaming de video
tracking de marcadores (via ARToolkit)
entrada de un amplio rando de trackers y
sensores usados en RA (via el VRPN sensor
package)



Software de RA
Atomic Authoring Tool







http://www.sologicolibre.org/projects/atomic/en/
ATOMIC Authoring Tool es una herramienta que
permite la creación de aplicaciones de realidad
aumentada desarrollada especialmente para noprogramadores.
Fue creado como un front end (Interface Gráfica) para
la usar librería ARToolkit sin tener que saber
programar.
Fue escrito en el lenguaje de programación
Processing y se distribuye bajo licencia GNU GPL



Software de RA web
Atomic Web Authoring Tool






http://www.sologicolibre.org/projects/atomicweb/es/
Atomic Web se deriva de ATOMIC Authoring Tool y
es una herramienta que permite la creación de
aplicaciones de realidad aumentada para
exportarlas a cualquier sitio web.
Fue creado como un front end para la usar librería
Flartookit sin tener que saber programar. El núcleo
está escrito en ActionScript3



Software de RA
BuildAR

 http://www.buildar.co.nz
 Es

una aplicación desarrollada por
HITLabNZ (los creadores de ARToolkit) que
permite crear mediante un editor una escena
de realidad aumentada con tracking de
marcadores (y la versión PRO permite el
tracking de una imagen cualquiera)
 Puede descargarse una versión de prueba





Aplicaciones para teléfonos móviles






 ARToolkitPlus
 StbTracker
 String
 Qualcomm AR
Browsers de RA
 Wikitude
 Layar
 junaio



 Librerías

de tracking de marcadores para
dispositivos móviles:


ARToolKitPlus (ARTK+)

http://studierstube.icg.tugraz.ac.at/handheld_ar/artoolkitplus.php


es Opensource, distribuida bajo licencia GPL
Como se vió, se diseño a partir de ARToolkit para PC



Ineficiente, no está diseñada especialmente para móviles





 Librerías

de tracking de marcadores para
dispositivos móviles:


Studierstube Tracker (StbTracker)

http://studierstube.icg.tugraz.ac.at/handheld_ar/stbtracker.php
 No es opensource, ni siquiera está disponible
 Eficiente, está diseñada especialmente para móviles



Software de RA
StbTracker




Diseñado para PC y dispositivos móviles. Los
requerimientos de memoria son muy bajos (100KB,
5-10% of ARTK+) y el procesamiento es muy rapido
(el doble más rapido que ARTK+ en dispositivos
móviles).
Mientras que ARTK+ requiere configuración en
tiempo de compilación, StbTracker es altamente
modular: los desarrolladores pueden extenderlo
creando nuevas características



Software de RA
StbTracker
 Detecta

marcadores bajo condiciones de
iluminación extremadamente desbalanceada
y permite oclusiones parciales



Software de RA
StbTracker



Software de RA
StbTracker


Marcadores “Frame Markers”


requieren solo el borde del cuadro para ser identificados, el
borde exterior completo y el patrón se reconoce con pixeles
negros pegados al interior del mismo. Dentro del recuadro puede
ponerse cualquier contenido ya que no es tenido en cuenta para
la identificación del patrón



Software de RA
StbTracker


Marcadores divididos “spilt markers”


están compuestos de dos códigos de barras separados,
reduciendo bastante el área ocupada. El algoritmo
utilizado busca pares de códigos de barras con una
composición opuesta de bits. Una vez encontrados las
esquinas de esos códigos de barras son utilizadas para
construir un rectángulo y a partir de este poder
determinar la posición de la cámara



Software de RA
StbTracker


Marcadores de puntos “Dot markers”


son adecuados para cubrir grandes áreas y consiste en una
grilla bidimensional de puntos negros circulares con anillos
blancos que los rodean superpuestos en una superficie plana
texturada



Software de RA
StbTracker
 Incluye

técnicas de tracking avanzadas

como:



Técnicas de tracking incrementales
Tracking sin marcadores basado en seguimiento
de características naturales



Software de RA
StbTracker


Técnicas de tracking incrementales



Seguir teniendo la posición del objeto cuando los
marcadores se pierden o son tapados
Wagner Daniel et al. Robust and Unobtrusive Marker
Tracking on Mobile Phones. International Symposium on
Mixed and Augmented Reality
http://www.icg.tugraz.at/pub/pdf/WAGNER_ISMAR08_AMT
.pdf
 Seguimiento de características
 Flujo de pixeles



Software de RA
StbTracker


Tracking sin marcadores basado en seguimiento de
características naturales




Wagner Daniel et al. Pose Tracking from Natural Features on Mobile
Phones International Symposium on Mixed and Augmented Reality http://www.icg.tu-graz.ac.at/pub/pdf/WAGNER_ISMAR08_NFT.pdf
Adapta dos técnicas para su uso en dispositivos móviles:



SIFT: Se basa en tres etapas principales que son: localización de puntos
clave, descripción de características y correspondencia de características.
Ferns: Realiza el tracking llevándolo a un problema de clasificación





Recientemente han aparecido librerías que intentan
evitar el típico uso de marcadores acercándose al
tracking basado en características naturales




String http://www.poweredbystring.com/ Creada
en 2011, permite crear aplicaciones de RA para
teléfonos Iphone (sistema operativo iOS) con
seguimiento de imágenes enmarcadas.
Disponible gratis una licencia demo.
Qualcomm AR http://www.qualcomm.com/ar
permite crear aplicaciones de RA para teléfonos
con sistema operativo Android y iOS
http://developer.qualcomm.com/dev/augmentedreality



Software de RA


Librerías para aplicaciones en teléfonos móviles




Librerías de tracking de bajo nivel
 ARToolkitPlus
SDKs





String
Qualcomm AR

Browsers de RA
 Wikitude
 Layar
 junaio



Browsers de RA

 Los

denominados browsers de RA son
aplicaciones que corren en teléfonos
celulares que proveen contenidos relevantes
dependiendo de la ubicación del usuario en
un cierto lugar en el mapa (información de
lugares, eventos, ofertas, objetos de
alrededor) o de la imagen que está
observando



Browsers de RA



Los browsers de RA pueden proveer dos tipos de servicios:




Basados en la localización: a través del GPS y otros sensores
del teléfono móvil se conoce la posición del usuario y en que
dirección apunta la cámara (se denomina Gravimetric AR). De
esta forma se puede visualizar información relevante a la
posición mostrando que hay alrededor dependiendo de los
intereses del perfil.
Basados en imágenes: la aplicación reconoce imágenes
capturadas por la cámara del teléfono (por ejemplo objetos,
sitios, cuadros, revistas). Una vez reconocidas se puede
superponer dinamicamente en el visor contenido multimedia de
forma que un objeto 3D esté pegado virtualmente al objeto
reconocido.



Browsers de RA


Podemos enumerar los siguientes browsers de RA:








Wikitude http://www.wikitude.com/ creado en 2008 por la
empresa Mobilizy
Layar http://www.layar.com/ creado en 2008 por la
empresa LayarMet
junaio http://www.junaio.com/ creado en 2009 de Metaio
Augmented Reality Solutions

De todos ellos se pueden encontrar versiones para
teléfonos con sistema operativo Android o iOS



 Los

denominados BROWSERS de RA
permiten visualizar a través de la pantalla del
teléfono móvil información del entorno real en
base a la ubicación que indican el GPS y
brújula incorporados



Browsers de RA
 Wikitude




http://www.wikitude.com/

Wikitude está basado en datos Wikipedia, se usó en
principio como guía de ciudad.
Permite visualizar videos de Youtube, acceso a webcams,
imágenes Fliker geocodificadas, búsquedas de negocios
mediante el Google Local, etc.



Browsers de RA


Wikitude
 En la jerga de Wikitude los desarrolladores
construyen mundos (worlds), una vez creados se
envían al servidor de Wikitude quien realiza el hosting
de los mismos. Actualmente cuenta con más de
quinientos mundos desarrollados por todo el mundo.
 Wikitude es el browser de AR para el que más
fácilmente se puede crear contenido sin necesidad de
escribir una línea de código.



Browsers de RA


Wikitude
 Los mundos pueden crearse usando la interfaz de
Google Maps, el lenguaje de marcas KLM o el
lenguaje de marcas ARML.




KLM (Keyhole Markup Language)es un lenguaje basado en
XLM que describe información geográfica y es el lenguaje
usado por Google Earth para describir ubicaciones,
coordenadas, etc.
ARML (Augmented Reality Markup Language) [2] es una
especificación creada por Mobilizy GmbH que permite a los
desarrolladores crear contenido que puede visualizarse en
diferentes AR browsers.



Browsers de RA


Layar http://www.layar.com/
 http://www.youtube.com/watch?
v=Ume8PsSOnF8&feature=related



Browsers de RA


 El contenido creado se denomina layer. Los
layers son ordenados de acuerdo a categorías y
al igual que los sitios de Internet pueden
agregarse a los favoritos.
 1M usuarios y 2K layers creados y una
comunidad activa construyendo herramientas de
código abierto para los desarrolladores.



Browsers de RA


 A diferencia de Wikitude, el desarrollador debe
encargarse del hosting del contenido.
 Los desarrolladores pueden utilizar
 MSQL y
 PSP.



Browsers de RA




Layar tiene una serie de características adicionales:
 En lugar de íconos simples se pueden agregar objetos
3D.
 Triggers que definen acciones que ocurrirán cuando el
usuario se aproxime a una cierta ubicación.
 Los puntos de interés pueden tener asociado audio.
 Autenticación con usuario y clave
 Layar Vision reconoce imágenes previamente
almacenadas y puede visualizar información sobre ellas
http://www.youtube.com/watch?v=AsD0DuPT1GI
Con estas características los desarrolladores están
construyendo un amplio rango de contenido incluyendo
juegos que requieren que los usuarios se desplacen e
interactúen con el entorno usando la cámara.






Browsers de RA


Junaio http://www.junaio.com/


http://www.youtube.com/watch?
v=_8B9_lHYQNc&feature=related



Browsers de RA







Fue anunciado como el primer browser de red social de
AR. Actualmente es un browser AR con 150 canales
(channels)
Permite compartir contenido con amigos y visualizar
contenido cercano a la localización del usuario.
Junaio utiliza tecnología de AR desarrollada previamente
por Metaio, incluido su SDK de tracking de características
naturales.



Browsers de RA




Las funcionalidades incluidas son:






Puntos de interés simples con sonido y video,
Objetos 3D y animaciones
Detección de proximidad
Tracking de características naturales (reconoce imágenes y
se visualizan un objeto 3D superpuesto o un video)
LLA (latitud, longitud, altitud): Dado que GPS no es siempre
exacto, particularmente en interior de edificios LLA consiste
en marcadores especiales que ayudan a establecer la
posición del usuario mediante el tracking del marcador.


M4 Librerias y software de authoring de RA

Recomendados

Recomendados

Más contenido relacionado

Destacado

Destacado (20)

Similar a M4 Librerias y software de authoring de RA

Similar a M4 Librerias y software de authoring de RA (20)

Más de Maria Jose Abasolo Guerrero

Más de Maria Jose Abasolo Guerrero (9)

M4 Librerias y software de authoring de RA