V Xornadas Multimedia



Realidad aumentada
         y software libre
¿Qué es la Realidad Aumentada?

¿Por qué es importante?

Tipos de Realidad Aumentada

Dispositivos necesarios

Aplicación en Android
¿Qué es la Realidad
   Aumentada?
¿Qué es la REALIDAD AUMENTADA?

                La realidad aumentada es una
                tecnología que combina información
                virtual sobre la visión real del
                usuario, siendo interactiva en tiempo
                real
¿Qué es la REALIDAD AUMENTADA?


     Una visión
“enriquecida”
 del mundo real

     MATCH
¿Qué es la REALIDAD AUMENTADA?

Escena real vista
 por un usuario


  +
Información generada              Y
    por ordenador           en tiempo real
¿Qué es la REALIDAD AUMENTADA?




                ¿Es lo mismo que
                    la realidad
                      virtual?
¿Qué es la REALIDAD AUMENTADA?




           La realidad virtual
           sumerge al usuario en
           un mundo generado
           por ordenador.
¿Qué es la REALIDAD AUMENTADA?




   Resumiendo…
¿Qué es la REALIDAD AUMENTADA?




Superposición de información
generada por un ordenador
   en función de la realidad
   captada por una cámara
¿Qué es la REALIDAD AUMENTADA?
                       Sin
               Realidad Aumentada

                    ¿Dónde puedo
                       comer?
¿Qué es la REALIDAD AUMENTADA?
                      Con
               Realidad Aumentada

                  ¿Qué tipo de
                   Información ?
             Texto, imágenes, objetos 3D,
                vídeos, animaciones,
                  Cuestionarios…
¿Qué es la REALIDAD AUMENTADA?




        NO
             SÍ
¿Qué es la REALIDAD AUMENTADA?




   ¿Por qué es
  importante?
¿Por qué es importante?

                    Tiene la capacidad
                de añadir información
                     al mundo físico



                    Promoción
                  Coca Cola Zero
¿Por qué es importante?




               Permitiendo
                aumentar
             la percepción
               del entorno
¿Por qué es importante?


En el trabajo
De compras
¿Por qué es importante?




     Tipos de
Realidad Aumentada
Tipos de realidad aumentada


    Existen



tipos de AR
Tipos de realidad aumentada



Basada en el seguimiento
Marcadores, markerless NFT, códigos QR


 Basada en la localización
            Geolocalización
Basada en el seguimiento




Activadores: marcadores,
imágenes, objetos, códigos QR
Basada en el seguimiento - Marcadores




             Cuando el marcador es
               reconocido por el
                    software
             se produce una acción
Basada en el seguimiento - Marcadores




                         Generalmente
                         se superpone
                        un modelo 3D
Basada en el seguimiento - Marcadores
PRÁCTICA: GENERADOR EZFlar para crear una producción de Realidad
Aumentada de una manera sencilla

Es de código abierto y gratuito.
Basada en el seguimiento – Sin marcadores
                       Campaña de marketing
                     con realidad aumentada




                               Video campaña
Basada en el seguimiento – Códigos QR
Basada en el seguimiento – Códigos QR




Enlazan el mundo real
     con Internet
Basada en el seguimiento – Códigos QR




              QR, hasta la cocina
Basada en el seguimiento – Códigos QR




  Existen muchos sitios
  gratuitos para crear
tus propios códigos QR
Basada en el seguimiento – Códigos QR




Generador de
códigos QR
Basada en el seguimiento – Códigos QR
Basada en el localización – Coordenadas GPS


                          Se utiliza el GPS para
                          detectar la ubicación
                             actual del usuario

La brújula para
    detectar la
    orientación

  Wikitude            Layar               Junaio
Basada en el localización – Coordenadas GPS




                    Y el acelerómetro
                    para detectar la
                    elevación y el ángulo
Basada en el localización – Coordenadas GPS




De esta forma se identifica
 lo que se está viendo por
          la cámara
Basada en el localización – Coordenadas GPS



 A través de Internet se
obtienen y se muestran los
datos relacionados con lo
   que se ve en pantalla
Basada en el localización – Coordenadas GPS




                             ¡Mira! Tengo un POI
                             en la pantalla
Basada en el localización – Coordenadas GPS




Un POI o punto de interés
 es una localización en un
mapa que puede ser útil o de
   interés para alguien.
Basada en el localización – Coordenadas GPS


Los POIs hay que
almacenarlos
en un servidor



     Se requieren conocimientos de
          programación y de
            bases de datos
Basada en el localización – Coordenadas GPS


          Existen herramientas que
               simplifican el trabajo
¿Otras formas de realidad aumentada?
¿Otras formas de realidad aumentada?




                     Word Lens traduce
                   y sobreescribe sobre
                       el idioma original
¿Otras formas de realidad aumentada?




  Google Goggles
       escanea y
busca en Internet
¿Qué dispositivos
son necesarios?
Dispositivo electrónico con…




                         Una
                         pantalla


En la pantalla vemos la suma de lo
real y lo virtual
Dispositivo electrónico con…



Una cámara


                         La cámara capta
                          la imagen del
                          mundo real
Dispositivo electrónico con…


 Software de AR


  El software se
      encarga
de superponer la
información digital
Dispositivo electrónico con…

Capacidad de procesamiento




                    Capacidad para manejar
                      y modificar la señal
                                  de vídeo
Configurar y ejecutar aplicación
de RA en un dispositivo Android
Requisitos Software




-JDK 6 de java      www.oracle.com/technetwork/java/javase/downloads/index.htmal

-Eclipse            www.eclipse.org/downloads

-SDK de Android     http://developer.android.com/sdk/index.html

- Complemento ADT descargado e instalado desde eclipse

                  DESCARGA, INSTALACIÓN Y CONFIGURACIÓN

                                      NAME:
                                       PASS:
Requisitos Hardware




Dispositivo con versión de Android 2.1 o superior.
NyARToolkit

ARToolKit es una biblioteca que permite la
creación de aplicaciones de realidad aumentada.

                               ARToolKit fue desarrollado originalmente por
                               Hirokazu Kato en 1999 y fue publicado por el HIT
                               Lab de la Universidad de Washington. Actualmente se
                               mantiene como un proyecto de código abierto
                               alojado en SourceForge con licencias comerciales
                               disponibles en ARToolWorks.



                                           NyARToolkit es una biblioteca de clase de ARToolkit
                                           desarrollada para maquinas virtuales,
                                           particularmente aquellas con host Java, C# y
                                           Android.
NyARToolkit


NyARToolkit para Android está desarrollado por el grupo de
usuarios de Android Japón y desafortunadamente apenas existe
documentación online al respecto y si esta existe está en Japonés.

Procederemos a descargar el paquete

NyARToolkit_Android_v3.0.0-1os.1.zip

del siguiente link

http://sourceforge.jp/projects/nyartoolkit-and/
Importar y ejecutar el proyecto




Puesto que los comentarios en el código del proyecto están en Japonés se pueden
producir errores debidos a la codificación de texto. En la siguiente diapositiva se explica
cómo subsanar este error.
Importar y ejecutar el proyecto




Para corregir el problema será necesario abrir cada archivo de
texto, seleccionar Editar>Establecer codificación y en el cuadro
de diálogo Establecer codificación seleccionar la opción UTF-8
desde el menú desplegable Otros.
Importar y ejecutar el proyecto




Una vez subsanados los errores ejecutamos la aplicación. El
emulador no tiene acceso a cámara por lo que el contenido de
video de la aplicación se mostrará como marcador de posición
animado sobre un fondo de cuadros blancos y negros.
Exportar aplicación

A continuación se exportará la aplicación a formato APK para
poder instalarla en el dispositivo.

Al ejecutar la aplicación, esta detectará el marcador adecuado y
posicionará un Android de un color u otro dependiendo del
marcador detectado. La orientación espacial de los objetos estará
determinada por el contorno proyectado del marcador en la vista
de la cámara.
Exportar aplicación
Marcadores

Los marcadores ARToolkit son cuadrados, con una imagen
central y un contorno cuadrado negro alrededor de la imagen.

Esta aplicación ejemplo usa los siguientes marcadores:




A continuación veremos cómo sustituir el marcador Hiro por
otro creado por nosotros.
Marcadores

Para la creación de un patrón en primer lugar se crea el diseño
gráfico de forma manual o bien a través del sitio Marker Marker
en www.roarmot.com.nz/ar/. Este sistema permite la creación
de un archivo pdf a partir de una imagen jpeg que le enviemos.
Marcadores



El segundo paso es la creación de un archivo patrón (.patt) que
permita que la aplicación reconozca el marcador asociado.

Un método de creación sencillo es mediante una aplicación flash
web (http://flash.tarotaro.org/blog/2009/07/12/mgo/ enlace
ARToolKit Marker Generator Online Multi) que permite
generar un archivo patrón a partir de una copia impresa de
marcador y mediante cámara web.
Marcadores
Marcadores
Cuando ya tenemos el diseño gráfico y el patrón tan sólo queda
sustituir los archivos del marcador Hiro () por los nuestros.



                   Para no tener que realizar cambios de
                   código bastará con reemplazar estos
                   archivos con los de nuestro marcador.
                   Exportaremos el archivo *.apk e
                   instaleremos la aplicación en el terminal
                   para probar si lo hemos hecho bien.

Realidad aumentada y software libre

  • 1.
    V Xornadas Multimedia Realidadaumentada y software libre
  • 2.
    ¿Qué es laRealidad Aumentada? ¿Por qué es importante? Tipos de Realidad Aumentada Dispositivos necesarios Aplicación en Android
  • 3.
    ¿Qué es laRealidad Aumentada?
  • 4.
    ¿Qué es laREALIDAD AUMENTADA? La realidad aumentada es una tecnología que combina información virtual sobre la visión real del usuario, siendo interactiva en tiempo real
  • 5.
    ¿Qué es laREALIDAD AUMENTADA? Una visión “enriquecida” del mundo real MATCH
  • 6.
    ¿Qué es laREALIDAD AUMENTADA? Escena real vista por un usuario + Información generada Y por ordenador en tiempo real
  • 7.
    ¿Qué es laREALIDAD AUMENTADA? ¿Es lo mismo que la realidad virtual?
  • 8.
    ¿Qué es laREALIDAD AUMENTADA? La realidad virtual sumerge al usuario en un mundo generado por ordenador.
  • 9.
    ¿Qué es laREALIDAD AUMENTADA? Resumiendo…
  • 10.
    ¿Qué es laREALIDAD AUMENTADA? Superposición de información generada por un ordenador en función de la realidad captada por una cámara
  • 11.
    ¿Qué es laREALIDAD AUMENTADA? Sin Realidad Aumentada ¿Dónde puedo comer?
  • 12.
    ¿Qué es laREALIDAD AUMENTADA? Con Realidad Aumentada ¿Qué tipo de Información ? Texto, imágenes, objetos 3D, vídeos, animaciones, Cuestionarios…
  • 13.
    ¿Qué es laREALIDAD AUMENTADA? NO SÍ
  • 14.
    ¿Qué es laREALIDAD AUMENTADA? ¿Por qué es importante?
  • 15.
    ¿Por qué esimportante? Tiene la capacidad de añadir información al mundo físico Promoción Coca Cola Zero
  • 16.
    ¿Por qué esimportante? Permitiendo aumentar la percepción del entorno
  • 17.
    ¿Por qué esimportante? En el trabajo
  • 18.
  • 19.
    ¿Por qué esimportante? Tipos de Realidad Aumentada
  • 20.
    Tipos de realidadaumentada Existen tipos de AR
  • 21.
    Tipos de realidadaumentada Basada en el seguimiento Marcadores, markerless NFT, códigos QR Basada en la localización Geolocalización
  • 22.
    Basada en elseguimiento Activadores: marcadores, imágenes, objetos, códigos QR
  • 23.
    Basada en elseguimiento - Marcadores Cuando el marcador es reconocido por el software se produce una acción
  • 24.
    Basada en elseguimiento - Marcadores Generalmente se superpone un modelo 3D
  • 25.
    Basada en elseguimiento - Marcadores PRÁCTICA: GENERADOR EZFlar para crear una producción de Realidad Aumentada de una manera sencilla Es de código abierto y gratuito.
  • 26.
    Basada en elseguimiento – Sin marcadores Campaña de marketing con realidad aumentada Video campaña
  • 27.
    Basada en elseguimiento – Códigos QR
  • 28.
    Basada en elseguimiento – Códigos QR Enlazan el mundo real con Internet
  • 29.
    Basada en elseguimiento – Códigos QR QR, hasta la cocina
  • 30.
    Basada en elseguimiento – Códigos QR Existen muchos sitios gratuitos para crear tus propios códigos QR
  • 31.
    Basada en elseguimiento – Códigos QR Generador de códigos QR
  • 32.
    Basada en elseguimiento – Códigos QR
  • 33.
    Basada en ellocalización – Coordenadas GPS Se utiliza el GPS para detectar la ubicación actual del usuario La brújula para detectar la orientación Wikitude Layar Junaio
  • 34.
    Basada en ellocalización – Coordenadas GPS Y el acelerómetro para detectar la elevación y el ángulo
  • 35.
    Basada en ellocalización – Coordenadas GPS De esta forma se identifica lo que se está viendo por la cámara
  • 36.
    Basada en ellocalización – Coordenadas GPS A través de Internet se obtienen y se muestran los datos relacionados con lo que se ve en pantalla
  • 37.
    Basada en ellocalización – Coordenadas GPS ¡Mira! Tengo un POI en la pantalla
  • 38.
    Basada en ellocalización – Coordenadas GPS Un POI o punto de interés es una localización en un mapa que puede ser útil o de interés para alguien.
  • 39.
    Basada en ellocalización – Coordenadas GPS Los POIs hay que almacenarlos en un servidor Se requieren conocimientos de programación y de bases de datos
  • 40.
    Basada en ellocalización – Coordenadas GPS Existen herramientas que simplifican el trabajo
  • 41.
    ¿Otras formas derealidad aumentada?
  • 42.
    ¿Otras formas derealidad aumentada? Word Lens traduce y sobreescribe sobre el idioma original
  • 43.
    ¿Otras formas derealidad aumentada? Google Goggles escanea y busca en Internet
  • 44.
  • 45.
    Dispositivo electrónico con… Una pantalla En la pantalla vemos la suma de lo real y lo virtual
  • 46.
    Dispositivo electrónico con… Unacámara La cámara capta la imagen del mundo real
  • 47.
    Dispositivo electrónico con… Software de AR El software se encarga de superponer la información digital
  • 48.
    Dispositivo electrónico con… Capacidadde procesamiento Capacidad para manejar y modificar la señal de vídeo
  • 49.
    Configurar y ejecutaraplicación de RA en un dispositivo Android
  • 50.
    Requisitos Software -JDK 6de java www.oracle.com/technetwork/java/javase/downloads/index.htmal -Eclipse www.eclipse.org/downloads -SDK de Android http://developer.android.com/sdk/index.html - Complemento ADT descargado e instalado desde eclipse DESCARGA, INSTALACIÓN Y CONFIGURACIÓN NAME: PASS:
  • 51.
    Requisitos Hardware Dispositivo conversión de Android 2.1 o superior.
  • 52.
    NyARToolkit ARToolKit es unabiblioteca que permite la creación de aplicaciones de realidad aumentada. ARToolKit fue desarrollado originalmente por Hirokazu Kato en 1999 y fue publicado por el HIT Lab de la Universidad de Washington. Actualmente se mantiene como un proyecto de código abierto alojado en SourceForge con licencias comerciales disponibles en ARToolWorks. NyARToolkit es una biblioteca de clase de ARToolkit desarrollada para maquinas virtuales, particularmente aquellas con host Java, C# y Android.
  • 53.
    NyARToolkit NyARToolkit para Androidestá desarrollado por el grupo de usuarios de Android Japón y desafortunadamente apenas existe documentación online al respecto y si esta existe está en Japonés. Procederemos a descargar el paquete NyARToolkit_Android_v3.0.0-1os.1.zip del siguiente link http://sourceforge.jp/projects/nyartoolkit-and/
  • 54.
    Importar y ejecutarel proyecto Puesto que los comentarios en el código del proyecto están en Japonés se pueden producir errores debidos a la codificación de texto. En la siguiente diapositiva se explica cómo subsanar este error.
  • 55.
    Importar y ejecutarel proyecto Para corregir el problema será necesario abrir cada archivo de texto, seleccionar Editar>Establecer codificación y en el cuadro de diálogo Establecer codificación seleccionar la opción UTF-8 desde el menú desplegable Otros.
  • 56.
    Importar y ejecutarel proyecto Una vez subsanados los errores ejecutamos la aplicación. El emulador no tiene acceso a cámara por lo que el contenido de video de la aplicación se mostrará como marcador de posición animado sobre un fondo de cuadros blancos y negros.
  • 57.
    Exportar aplicación A continuaciónse exportará la aplicación a formato APK para poder instalarla en el dispositivo. Al ejecutar la aplicación, esta detectará el marcador adecuado y posicionará un Android de un color u otro dependiendo del marcador detectado. La orientación espacial de los objetos estará determinada por el contorno proyectado del marcador en la vista de la cámara.
  • 58.
  • 59.
    Marcadores Los marcadores ARToolkitson cuadrados, con una imagen central y un contorno cuadrado negro alrededor de la imagen. Esta aplicación ejemplo usa los siguientes marcadores: A continuación veremos cómo sustituir el marcador Hiro por otro creado por nosotros.
  • 60.
    Marcadores Para la creaciónde un patrón en primer lugar se crea el diseño gráfico de forma manual o bien a través del sitio Marker Marker en www.roarmot.com.nz/ar/. Este sistema permite la creación de un archivo pdf a partir de una imagen jpeg que le enviemos.
  • 61.
    Marcadores El segundo pasoes la creación de un archivo patrón (.patt) que permita que la aplicación reconozca el marcador asociado. Un método de creación sencillo es mediante una aplicación flash web (http://flash.tarotaro.org/blog/2009/07/12/mgo/ enlace ARToolKit Marker Generator Online Multi) que permite generar un archivo patrón a partir de una copia impresa de marcador y mediante cámara web.
  • 62.
  • 63.
    Marcadores Cuando ya tenemosel diseño gráfico y el patrón tan sólo queda sustituir los archivos del marcador Hiro () por los nuestros. Para no tener que realizar cambios de código bastará con reemplazar estos archivos con los de nuestro marcador. Exportaremos el archivo *.apk e instaleremos la aplicación en el terminal para probar si lo hemos hecho bien.