El documento detalla el uso de Raspberry Pi para la detección de objetos mediante TensorFlow, abarcando métodos de deep learning como SSD y MobileNet V2. Se discuten las características del hardware de Raspberry Pi y el flujo de trabajo para el aprendizaje automático, incluyendo la recolección y etiquetado de imágenes para entrenamiento. Finalmente, se presenta una demo del modelo de detección de personas utilizando una Raspberry Pi 3 y una cámara.

1. Raspberry Pi:
Reconocimiento de imágenes
con Tensorflow

2. ORGANIZATION
Thank you!

3. @alexgonzlez96
algonzalez@plainconcepts.com
Graduado en Ingeniería Informática. Formo parte del equipo de IA en
Plain Concepts Madrid y formo parte y colaboro con el programa
Microsoft Student Partner en Microsoft España como MSP Alumni. En
mis tiempo libres puedo decir que disfruto de muchas cosas,
principalmente siempre intento viajar, jugar a futbol, videojuegos y
además siempre estar al tanto del mundo de la tecnología, asistiendo a
charlas de la comunidad técnica, preparando talleres e investigando
Alexander González
Software Development Engineer

4. @mrcabellom
mrcabello@plainconcepts.com
MVP on Artificial Intelligence
Rodrigo Cabello
Software Development Engineer

5. Deep Learning &
Detección de Objetos

6. Deep Learning
Extracción de características y detección de objetos
Red neuronal profundaRed neuronal simple
Función activación
z= 𝑊𝑥 + 𝑏

8. Detección de Objetos
Métodos detección de objetos
R-CNN
Clasificador SVM
Fast R-CNN
Faster R-CNN

9. • 106 capas
convolucionales
totalmente conectadas.
• Detección de objetos en
diferentes escalas.
• Mayor número de
“bounding boxes” .
• Uso de regresión logística
(las clases no son
mutuamente
excluyentes) .
YOLO (You Only Look Once)

10. SSD (Single Shot Multibox Detector)
• Extracción de mapa de características
• Aplicar filtros de convolución para detectar objetos.

11. SSD (Single Shot Multibox Detector)
• Por cada celda se hacen 4 predicciones de objetos
• Cada predicción se compone de:
• “boundary box”: X, y, weight, height.
• 21 scores para cada una de las clases (1 más
para cuando no se detecta objetos)
• Cuando se realizan varias predicciones que contienen
diferentes “boundary boxes” y scores se conoce
como Multibox
Conv4_3 to be 8 × 8

12. SSD (Predictores convolucionales)
• No se utiliza una red para proponer distintas regiones de interés.
• Los valores de los boundary boxes y la propabilidad de pertenencia a cada clase de obtiene aplicando
pequeños filtros de convolución.
• Cada filtro tiene una salida de 25 canales (21 clases + 4)

13. MobileNet V2
• Uso de Convoluciones de tipo “Depthwise” y “pointwise”
Convolución normal Convolución depthwise Convolución pointwise 1x1

14. MobileNet V2
• Uso de capa de expansión (aumenta el número de canales)
• Bottleneck Block (Reduce la cantidad de datos que pasa a través de la red.
• Conexión residual (Resnet).

15. SSDLite + MobileNet V2
• Uso de MobileNet en lugar de VGG-16 para la extracción de características.
• SSDLite: Uso de convolución deptwise & pointwise en el proceso de detección de objetos.

16. Raspberry Pi y detección de
objetos

17. Raspberry Pi y Detección de objetos
• La Detección de objetos es bastante usada en distintos escenarios dentro del sector de la industria.
Vehículos autónomos Automatización
de tareas
Fabricación
Imágenes de drones Agricultura Educación

18. Raspberry Pi y detección de objetos
• Ordenador de placa simple de bajo coste.
• Primera versión en 2012.
• Raspberry Pi 3 Modelo B:
• Procesador 1.2 GHz
• 1GB de RAM
• 2 USB
• HDMI

19. Raspberry Pi y detección de objetos
• Soporte nativo en Raspberry desde la versión 1.9 (Linux ARM)

21. Detección de objetos
con Tensorflow

22. Machine Learning Workflow
Identificar el problema
Seleccionar fuentes de
datos
Preprocesamiento de
los datos
Preprocesamiento de
los datosEntrenamientoValidación del modelo
Despliegue

23. Entrenamiento
• SSDLite + MobileNet V2
• Dataset COCO
• 330K Imágenes.
• Detección de objetos.
Modelo pre-entrenado

24. Transfer Learning
Recolección de imágenes y etiquetado
Preparación etiquetado de
imágenes y entrenamiento
• Tensorflow Object Detection API
• TFRecord
NC6 VM
Proceso de entrenamiento
ssdlite_mobilebet_v2.pb
Detección de
objetos
personalizada

25. DEMO

26. DEMO
Modelo detección personas
en cuadros
Raspberry PI 3 + Cámara
detection.py
Boundary boxes + Score

27. Questions & Answers

28. Far far away, behind the word mountains, far from the countries Vokalia
and Consonantia, there live the blind texts. Separated they live in
Bookmarksgrove right at the coast of the Semantics, a larg language
ocean.
Marco Minnemann

29. Thanks and …
See you soon!
Thanks also to the organization
Without whom this would not have been posible.