Azure Custom Vision permite crear clasificadores de imágenes (y detectores de objetos) de una manera ágil y en cuestión de minutos. El modelo es exportable a varios formatos (TensorFlow, CoreML, ONNX, incluso Docker) para ser utilizado en modo offline. En esta presentación, parte del Build 2019 CDMX Community Edition, explico los conceptos básicos e incluyo una demostración a través de una app móvil.

2. @darkicebeam
luis@luisbeltran.mx

3. 3
Prepara Datos
Clasificación de imágenes
Construye
y Entrena
Ejecuta
Definición de modelo y entrenamiento
Evaluación de Modelo
Despliega el modelo - web service, Dockers Container o IoT EdgePuntúa el modelo

4. Computer Vision
Face/Emotion Recognition
OCR/Handwriting
Custom Vision
Video Indexer
Content Moderator
Text-to-Speech
Speech-to-Text
Translator
Custom Speech
Language Understanding
PII Detection
Text Translator
Text Analytics
QnA Maker
Bing Custom Search
Bing Visual Search

10. • Un clasificador es un
modelo construido
utilizando Custom Vision
Service por medio de
imágenes de
entrenamiento.
• Cada clasificador que
construyes está en un
proyecto específico.
Clasificador = Proyecto

11. Cuando creas un
proyecto, seleccionas
un dominio.
El dominio optimiza el
clasificador para tipos
específicos de objetos
en las imágenes.

12. • Para crear un clasificador
de alta precisión, Custom
Vision Service necesita
varias imágenes de
entrenamiento.
• Una imagen de
entrenamiento es una
fotografía que Custom
Vision Service clasifica con
una etiqueta.

14. Cada vez que se
entrena (o re-entrena)
el clasificador, se está
creando una nueva
iteración del modelo.

15. Precisión
Cuando se clasifica una imagen, ¿cuál es la probabilidad de que el
clasificador categorice correctamente la imagen? De todas las
imágenes utilizadas para entrenar al clasificador, ¿qué porcentaje
acertó el modelo?
99 etiquetas correctas de 100 imágenes dan una precisión del 99%.
Sensibilidad (Recall)
De todas las imágenes que deberían haberse clasificado
correctamente, ¿cuántas identificó correctamente el clasificador?
Una sensibilidad del 100% significaría que si hubiera 12 pinturas
de Picasso en las imágenes utilizadas para entrenar al clasificador,
el clasificador encontró 12 pinturas de Picasso.

16. • Después de entrenar
el modelo, puede
probarse rápidamente
utilizando imágenes
locales o de la web.
• La prueba utiliza la
iteración entrenada
más recientemente.

17. • Después de un entrenamiento
exitoso, el servicio de Custom
Vision es accessible a través de un
endpoint que hace referencia al
proyecto por medio de una
Prediction Key enviada en la
cabecera de una petición HTTP.

18. https://github.com/icebeam7/Custom-Vision-Items-Classifier

19. • La mejor forma de tener un clasificador de
calidad es agregando imágenes diversas
(diferentes fondos, ángulos, tamaño de objeto,
grupos de fotos y variantes de tipos).
• Siempre entrena el clasificador después de
haber agregado más imágenes.
• Incluye imágenes representativas de lo que
su clasificador encontrará en el mundo real.
• Las fotos en contexto son mejores que las
fotos de objetos frente a fondos neutros, por
ejemplo.

21. https://github.com/icebeam7/Custom-Vision-Items-Classifier

22. Escenarios de uso (Computer Vision)

23. Idea inicial
• Planteamiento del problema
• Retos actuales
• Lluvia de ideas
• Análisis de tecnologías
Prueba de Concepto
• Diseño, Arquitectura
• Desarrollo
• Datos del Cliente
• Entrenar y desplegar
• Usuarios de prueba
• Evaluación
Despliegue
• Implementación
• Escalamiento
• Soporte
• Actualizaciones y hoja de ruta

24. https://azure.microsoft.com/es-mx/services/cognitive-services/custom-
vision-service/
https://docs.microsoft.com/es-mx/azure/cognitive-services/custom-
vision-service/export-model-python

26. luis@luisbeltran.mx
https://youtube.com/user/darkicebeam
https://slideshare.net/icebeam
@darkicebeam
icebeam7
luisantoniobeltran
luisbeltran.mxTomás Bata University in Zlín
Tecnológico Nacional de México en Celaya