El documento describe el SDK de Kinect v2 de Microsoft. Explica que Kinect es un dispositivo de captura de movimiento que usa reconocimiento de gestos, voz y seguimiento de mirada para interactuar sin comandos. Luego compara Kinect v1 y v2, destacando las mejoras de Kinect v2 en seguimiento esquelético, reconocimiento de expresiones y gestos, y procesamiento de voz. Finalmente, resume los tipos de datos que maneja Kinect y los requisitos del sistema para usar el SDK.

1. SDK Kinect v2

2. Interfaz natural de usuario(NUI)
Interacción no basada en comando o dispositivos de GUI
Ejemplos
Reconocimiento de gestos
Reconocimiento de voz
Seguimiento de mirada
Pantallas táctiles
BCI

3. ¿Que es kinect?
• Kinect es el dispositivo de captura de movimiento creado por Alex
Kipman y distribuido por Microsoft para el Xbox y Windows.
Kinect for Windows – Version 2Kinect for Windows – Version 1

4. Kinect for Windows v1

5. Kinect for Windows v2

6. Kinect for Windows v2

7. Kinect vs Kinect v2
Otras caracteristicas novedosas del Kinect
v2 son:
• Mejora al sistema de Skeletal Tracking.
• Sistema nativo de reconocimiento de e
xpresiones y gestos por manos.
• Mejoras en el proceso de reconocimie
nto de voz.
• Soporte de múltiples aplicaciones simu
ltaneas.
• Soporte dedicado a Unity 3D.

8. Kinect vs Kinect v2

9. ¿Como captura Kinect?

10. Point cloud
La señal capturada por el sensor infrarrojo se conoce como Point cloud o
mapa de voxels y es una imagen 3D de la zona en una escala de grises.

11. Identificación
Kinect viene equipado con un sistema de reconocimiento de bípedos(Bod
yIndex).Este sistema evalúa varios factores como el movimiento de brazos
,el rango de altura, posición de la cabeza etc. Una vez identificado el cuer
po, el programa crea un objeto virtual independiente de la imagen.
255
0 1

12. El esqueleto
Kinect está precargado con una base de datos
de 200 poses,con la cuales compara el objeto
creado y dibuja un esqueleto compuesto de 2
0 nodos.
Paralelamente una herramienta de audio lla
mada ‘Beam Forming’ simula una esfera de so
nido que envuelve de el objeto capturado co
n la finalidad de optimizar el sistema de reco
nocimiento de voz.

13. Tipos de datos que maneja Kinect
• Datos de calibración: almacena los datos jerárquicos ajustados a una forma preestableci
da (bípedo,facial).
• Raw Data: almacena los datos de movimiento de cada nodo en las componentes X,Y y Z.
• Apertura o cierre de la mano(Kinect v2).
• Captura de audio.
Estos tipos de datos pueden ser almacenados en un archivo con la extensión .bvh que es des
arrollado por Biovision y utilizado por diversas plataformas(Autodesk,Blender,etc...).

14. Nuevas especificaciones del SDK v2
Disponible Visual Gesture Builder.
Disponible Kinect Studio.
Disponible Kinect Fusion Tools.
Posibilidad de publicar aplicaciones en Windows Store.

15. Visual Gesture Builder
• Actividad:cerrar los ojos,abrir la boca,posicion de la mirada
• Apariencia:gafas,gorras…
• Expresión: exaltación, cansancio…

16. Kinect Studio

17. Kinect Fusion Tools
 Herramienta de escaneo 3D para animación
 HDface:Puntos(1347), Poligonos(2340), color de pelo, color de piel

19. System / Software Requirements
OS
Windows 8, 8.1, Embedded 8, Embedded 8.
1 (x64)
CPU Intel Core i7 3.1GHz (or higher)
RAM 4GB (or more)
GPU DirectX 11 supported
USB USB 3.0 (Intel or Renesas Host Controller)
Compiler Visual Studio 2012, 2013 (Supported Express)
Language Native (C++), Managed (C#,VB.NET), WinRT (C#,
HTML)
Other Unity Pro (Add-in), Cinder, openFrameworks
(wrapper)

20. Que falta?
Teniendo en cuenta el video de la demostración, existen un par de
características que no están incluidas:
• No modelo gráfico de reconocimiento de fuerzas
• No hay aproximación de la frecuencia cardíaca basado en gestos
faciales.

21. conexión
Kinect for Windows v1 Kinect for Windows v2
PCPC

22. Conexión en múltiples sensores

23. Procesamiento

24. Flujo básico de programación (C ++)
Sensor Stream Frame Data
Sensor Source Reader Frame Data
Kinect for Windows SDK v1
Kinect for Windows SDK v2
 Encapsulamiento de codigo en modulos Modulos independientes
(ColorSource, DepthSource, InfraredSource, BodyIndexSource, BodySource, …)
 Abstraccion para generar independencia entre Modulos y datos
(adquisición directa de datos)

25. Body Snap
Herramienta de full body scan
portable que utiliza Microsoft
Kincet v2

26. Recovery Rapids
Un juego de rehabilitación para
hemiparesia desarrollado en la
Universidad Estatal de Ohio por
un equipo dirigido por el Dr. Ly
nne Gauthier.