El documento describe un sistema para segmentar objetos y planos en tiempo real utilizando una Kinect. El sistema utiliza OpenNI y Point Cloud Library para adquirir y filtrar nubes de puntos, RANSAC para segmentar planos, agrupamiento euclidiano para segmentar objetos, y triangulación rápida para reconstruir superficies. Los resultados muestran que el sistema puede segmentar, etiquetar y reconstruir objetos en tiempo real mientras la Kinect se mueve.

1. Autor: Borja Martín Valverde

2.  Objetivos
 Motivación del trabajo
› Percepción en robótica
› Visión Artificial
 Introducción al problema
› El problema de la segmentación
› Kinect
› Point Cloud Library (PCL)
 Sistema Propuesto
› OpenNI
› RANSAC
› Euclidean cluster
› Fast triangulation
 Resultados
› Análisis de resultados
 Conclusiones y trabajos futuros
2

3. Asentar las bases para la
posterior manipulación y
reconocimiento de objetos por
parte del robot Manfred.
 Reconocer el entorno
dividiéndolo en objetos y
planos en tiempo real.
 Segmentar unos objetos de
otros etiquetándolos.
 Reconstruir la superficie de
los objetos.
3Objetivos

4.  La robótica se podría definir como el arte de
percibir el entorno con sensores y tomar decisiones
mediante un ordenador o máquina de manera
autónoma.
 Al intentar que una máquina reproduzca nuestros
movimientos o nuestro comportamiento nos vemos
obligados a otorgarle los mismos sentidos para que
puedan realizar los mismos actos.
4
Robótica
Robótica

5.  La percepción en robótica se
basa en otorgar algo
parecido a los sentidos
humanos, que permitan
realizar una retroalimentación
con el entorno que les rodea.
5
Percepción en Robótica
Percepción en robótica

6.  ¿Qué es la visión artificial?
› Consiste en extraer información visual del entorno y
transformarla de tal forma que se pueda procesar por una
máquina.
 ¿Por qué visión artificial?
› La visión supone un 75% de la información sensorial
procesada por el cerebro.
6
Visión Artificial
Visión Artificial

7.  ¿Cómo extraer la información
relevante?
7El problema de la segmentación
El problema de la segmentación

8.  Antes información = Color (RGB,HSV,Grises)
 Ahora información = Color + Profundidad
8El problema de la segmentación
El problema de la segmentación

9. 9
Kinect
Kinect

10. 10
Kinect
Kinect

11. 11
Kinect
=
Malla IR Deformación de la Malla Mapa disparidad
Kinect

12. 12Point Cloud Library

13. 13Point Cloud Library
 Conjunto de Bibliotecas y algoritmos
 Multiplataforma: Windows, GNU/Linux, MAC.
 Adquisición de datos OpenNI
 Visualización con VTK

14. 14
Point Cloud Library
 ¿Qué es una nube de puntos?
› RGB + Profundidad
› Visualizador VTK de PCL
Point Cloud Library
=+
Imagen RGB
(Opcional)
Mapa disparidad Nube de puntos 3D

15. 15

16.  Adquisición de datos:
16Adquisición de datos

17. 17
 Threshold de 2,5 m
 Voxelgrid con
tamaño de Voxel
de 0,5 cm
 Stadistical
Outliers Removal
Filtrado

18.  RANSAC (RANdom SAmple Consensus)
18
Modelo
Inliers
Outliers
Datos
Distancia
Error =
RANSAC

19.  Kdtree & distancia Euclídea
19Euclidean Cluster Extraction

20.  Etiquetado de objetos
20Etiquetado

21.  Fast Triangulation
21Fast Triangulation

22.  Fast Triangulation
22Fast Triangulation

23.  Tiempos
23Resultados

24.  Tiempos
24Resultados

25.  Video Segmentación.
25Resultados

26.  Video Etiquetado y Reconstrucción
Superficial.
26Resultados

27. 27
Hemos desarrollado un sistema capaz de:
 Filtrar una nube de puntos sin perder información relevante.
 Segmentar el entorno en planos y objetos.
 Etiquetar objetos envolviéndolos en cubos y asignándoles un
nombre que los diferencie de los demás.
 Visualización distinguiendo objetos y planos, por el color, y los
objetos entre sí por las etiquetas.
 Reconstruir la superficie de los objetos.
 Visualizar la reconstrucción superficial con VTK.
En tiempo real y con movimiento del sensor Kinect mientras sigue
realizando los algoritmos.

28. 28
Algunos desarrollos que se pueden implementar para aumentar las
funcionalidades de este proyecto a medio plazo son:
 GPU con PCL 1.6 para la segmentación de planos.
 Mapeado y modelado del entorno real con Kinect Fusion de PCL.
 Algoritmo “Cluster Recognition and 6DOF Pose Estimation using VFH
descriptors” para el reconocimiento de patrones
 ROS para la integración en el Robot MANFRED para aumentar las
prestaciones y mejorar la comunicación entre los distintos sistemas.

29. 29