Slides for my talk about Azure Cognitive Services in Docker containers at Azure AI South community event.

1. Azure Cognitive Services en
contenedores Docker
Luis Beltrán
Microsoft MVP
@darkicebeam

2. Luis Beltrán
• Investigador en Tomas Bata
University in Zlín, República
Checa.
• Docente en Tecnológico Nacional
de México en Celaya, Mexico.
• Xamarin, Azure e Inteligencia
Artificial
@darkicebea
m
luis@luisbeltran.mx
luisbeltran.mx

3. Agenda
• Servicios Cognitivos de Azure
• Contenedores Docker
• Servicios Cognitivos en contenedores Docker
• Demo

4. Clasificación de Imágenes
• Es la identificación del contenido
visual en una imagen.
• Tema de interés en el área de
Visión de Computadora.
• Una tarea trivial para los seres
humanos… todo un reto para las
aplicaciones informáticas

6. Servicios Cognitivos de Azure

7. Servicios Cognitivos de Azure
Percepción Comprensión
Visión Voz Lenguaje Decisión
Computer Vision
Face API
Custom Vision
Text-to-Speech
Speech-to-Text
Speech Translator
Speaker Recognition
Language Understanding
Text Translator
Text Analytics
QnA Maker
Anomaly Detector
Content Moderator
Personalizer
microsoft.com/cognitive

11. ¿Cómo funcionan?

13. Face
Un servicio de IA que analiza rostros en imágenes
Detección de rostros
• Detecta rostros humanos en una imagen
y sus atributos: edad, emoción, género,
pose, sonrisa y vello facial, además de 27
puntos de referencia (face landmarks).
Reconocimiento de rostros
• Verifica la probabilidad de que dos caras
pertenezcan a la misma persona; también
muestra el puntaje de confianza.
• Devuelve una lista de rostros similares a
una cara.
• Agrupa rostros en base a su similitud.
• Identifica una persona a partir de su
rostro.

15. Una variedad de aplicaciones
Vision Speech Language
Natural Language Processing
Intent: PlayCall
Knowledge
Here are the top results:
The purpose of Customer Life-cycle Management (CLM)
is to maximize both customer retention and .... Predictive
trend analysis provides business visibility.
Oct 28, 2015 – Here are FIVE key trends in 2014 that
would help marketers in rolling ... Of late, marketers are
looking at customer lifecycle management (CLM)
Jan 5, 2016 – The top 10 customer service trends for
2016 that .... North American Consumer
Search
Here is what I found:
It also investigates the top three expected
Fraud Detection and Prevention programs, in
terms of demand in key markets…
First, let’s point out that there is not one
absolute answer—there are “pros” and “cons” to
each. Those who favor in-house…
Michael heads fraud prevention tool. Online
and mobile shopping are expected to continue
growing apace…

16. Contenedores Docker

17. En la mayoría de las empresas, el desarrollo, despliegue y entrega de
software es un proceso con varios pasos bien diferenciados:

18. La computadora donde los usuarios finales
acceden a la aplicación requiere tener
instaladas ciertas dependencias para su
correcta ejecución, por ejemplo:
• Cierta versión de Java o .NET Framework instalada
• Un servidor de aplicaciones (Apache Server, IIS)
• Versiones específicas de librerías o ensamblados
(.dll) instalados
• Inclusive, un sistema operativo específico.

19. Una solución al problema anterior es la
virtualización:
• El cliente cuenta con un equipo host, que
consta de su propio hardware y un sistema
operativo instalado.
• Al host se le instala un hypervisor, donde se
crea una imagen de máquina virtual, a la cual
se le asignan:
• recursos virtuales (descontados de los recursos del
host)
• un sistema operativo determinado
• Finalmente, se comienza a instalar y configurar
el entorno virtual para que la aplicación
objetivo pueda existir dentro de la imagen y
cumplir su función.

20. El “problema” con la virtualización es que puede derivar
en una gran cantidad de recursos desperdiciados.
Por ejemplo, una empresa que requiere levantar:
• 10 máquinas virtuales,
• cada una con 4 GB de RAM,
• 10 GB de espacio en disco duro para levantar un
servidor Linux
• y 2 núcleos de procesador…
Necesitaría un total de 40 GB de memoria, 100 GB de
disco y 20 cores que debería obtener del host.
Son muchos recursos desperdiciados de forma
innecesaria.

21. La alternativa son los contenedores: entornos ligeros en
tiempo de ejecución que proporcionan a las aplicaciones los
recursos necesarios (archivos, bibliotecas, …) para ser
ejecutadas, maximizando su portabilidad.
A diferencia de las máquinas virtuales, los contenedores
utilizan el sistema operativo del host en vez de proporcionar
uno propio, siendo rápidos y fáciles de instalar. Esta
eficiencia permite que se implementen en clústeres, con
contenedores individuales que encapsulan componentes
únicos de aplicaciones complejas.
En resumen, los contenedores son un enfoque de
distribución de software en el que una aplicación o servicio
se empaqueta como una imagen junto con sus
dependencias y configuración.

22. Docker es la tecnología por excelencia en
cuanto a contenedores se refiere. Docker es
una herramienta para iniciar, detener y
gestionar contenedores mediante
comandos. Es una tecnología open-source
cuyo engine (motor) aprovecha el Sistema
Operativo sobre el cual se ejecuta a fin de
que todas las virtualizaciones de
contenedores compartan el Kernel del Host.
Docker permite crear entornos de ejecución
aislados e independientes para lanzamiento
y despliegue de aplicaciones.
¡Con Docker, se eliminan los problemas de
dependencia o compilación!

23. ¿Por qué usar Docker como desarrollador?
• Docker es rápido.
• Docker es multiplataforma.
• Los contenedores se pueden construir y
destruir más rápido que una máquina
virtual.
• No más dificultades para configurar un
entorno de trabajo. Es portable
• Mantiene su espacio de trabajo limpio,
pues cada entorno estará aislado.
• Será más fácil implementar su proyecto
en su servidor para ponerlo en línea.

24. Docker Hub es un repositorio donde los usuarios de Docker pueden
compartir las imágenes (contenedores) que han creado con otros
usuarios. La descarga desde el Docker Hub se realiza mediante
comandos y se ejecuta en el propio sistema.

26. Servicios Cognitivos en
contenedores Docker

28. Consideraciones al implementar Servicios
Cognitivos en una solución informática
• ¿Qué sucede si no puede cargar una
imagen o texto a la nube debido a
limitaciones en ancho de banda o el
acceso a Internet?
• ¿Qué procede si el envío de datos fuera de
la red de la empresa está sujeto a políticas
regulatorias, de confidencialidad o de
privacidad?
Si pudiera analizar los datos en un contexto
local, seguramente la aplicación podría
beneficiarse de una menor latencia y ancho
de banda…

30. ¡Ahora, varias de las API de Azure Cognitive Services
están disponibles como contenedores Docker!
• Puedes descargar y ejecutar un contenedor que
proporciona la misma funcionalidad que los servicios
basados en la nube.
• Los datos se procesan directamente en el contenedor,
nunca se envían a la nube.
• Se requiere una conexión a Azure solo para la
facturación (sólo en el servidor) al mismo costo (incluye
free tier).
• El soporte de contenedores en Azure Cognitive Services
permite a los desarrolladores implementar soluciones
de IA y brinda flexibilidad hacia dónde implementar y
hospedar los servicios que vienen con los contenedores
Docker.

31. Características y beneficios
• Infraestructura inmutable
• Control sobre los datos
• Control sobre las actualizaciones de los modelos
• Arquitectura portable
• Alto rendimiento y baja latencia
• Escalabilidad

32. ¿Qué servicios están disponibles como
contenedores?
Actualmente hay un subconjunto de Servicios Cognitivos de Azure disponibles como
contenedores Docker (otros estuvieron disponibles en su momento):
• Anomaly Detector
• Language Understanding (LUIS)
• Text Analytics
• Translator
• Computer Vision
• Speech Service
• Computer Vision
• Face (ya no disponible)
• Spatial Analysis

37. Requerimientos
• Docker Engine: Docker proporciona paquetes que configuran el entorno
Docker en macOS, Linux y Windows.
En Windows, Docker debe estar configurado para admitir contenedores de
Linux. Los contenedores Docker también pueden implementarse de forma
directa en Azure Kubernetes o en las instancias de Azure Container.
• Recurso de Servicio Cognitivo creado en Azure: Docker debe estar
configurado para permitir a los contenedores establecer una conexión con
Azure y enviar datos de facturación.

38. • Cada contenedor tiene sus propios requisitos de memoria y núcleos
de procesamiento:
Contenedor Asignación mínima Asignación recomendada QPS / TPS
Anomaly Detector 4 cores, 1-GB memoria 8 cores, 2-GB memoria 10
Anomaly Detector 8 cores, 2-GB memoria 16 cores, 4-GB memoria 20
Face 1 core, 2-GB memoria 1 core, 4-GB memoria 10 (mín), 20 (máx)
Computer Vision 1 core, 8-GB memoria 8 cores, 16-GB memoria 0.24 (mín), 1.17 (máx)
Recognize Text 1 core, 8-GB memoria 2 cores, 8-GB memoria
LUIS 1 core, 2-GB memoria 1 core, 4-GB memoria 20 (mín), 40 (máx)
Speech-to-text,
Custom Speech-to-text
2 cores, 2-GB memoria 4 cores, 4-GB memoria
Text-to-speech,
Custom text-to-speech
1 core, 2-GB memoria 2 cores, 3-GB memoria
Key Phrase Extraction,
Language Detection,
Sentiment Analysis
1 core, 2-GB memoria 1 core, 4-GB memoria 15 (mín), 30 (máx)

39. https://docs.docker.com/toolbox/toolbox_install_windows/
docker-machine stop
docker-machine rm default
docker-machine create -d virtualbox --virtualbox-cpu-count=2 --virtualbox-memory=2048 default

40. • Descargar la imagen del contenedor del Servicio Cognitivo respectivo
desde el Microsoft Container Registry.
Contenedor Repositorio
Anomaly Detector mcr.microsoft.com/azure-cognitive-services/decision/anomaly-detector:latest
Computer Vision mcr.microsoft.com/azure-cognitive-services/vision/read:3.2
Text Translation mcr.microsoft.com/azure-cognitive-services/translator/text-translation
LUIS mcr.microsoft.com/azure-cognitive-services/language/luis:latest
Speech-to-text mcr.microsoft.com/azure-cognitive-services/speechservices/speech-to-text:latest
Custom Speech-to-text mcr.microsoft.com/azure-cognitive-services/speechservices/custom-speech-to-text:latest
Text-to-speech mcr.microsoft.com/azure-cognitive-services/speechservices/text-to-speech:latest
Key Phrase Extraction mcr.microsoft.com/azure-cognitive-services/textanalytics/keyphrase:latest
Language Detection mcr.microsoft.com/azure-cognitive-services/textanalytics/language:latest
Sentiment Analysis mcr.microsoft.com/azure-cognitive-services/textanalytics/sentiment:3.0-en
Text Analytics for Health mcr.microsoft.com/azure-cognitive-services/textanalytics/healthcare:latest
Neural Text-to-speech mcr.microsoft.com/azure-cognitive-services/speechservices/neural-text-to-speech:latest
Speech Language identification mcr.microsoft.com/azure-cognitive-services/speechservices/language-detection:latest

41. Demo:ServiciosCognitivosejecutándoseen
uncontenedorDocker

48. Call to Action
Cognitive Services
• https://microsoft.com/cognitive
Soporte a contenedores en Azure Cognitive Services
• https://docs.microsoft.com/en-us/azure/cognitive-services/cognitive-
services-container-support
• https://azure.microsoft.com/en-us/resources/videos/containers-support-
of-cognitive-services/
• https://azure.microsoft.com/en-us/blog/running-cognitive-service-
containers/

49. Call to Action
Imágenes de Azure Cognitive Services en DockerHub
• https://hub.docker.com/_/microsoft-azure-cognitive-services
Cognitive Services ejecutándose en contenedores
• https://github.com/Azure-Samples/cognitive-services-containers-
samples
• https://docs.microsoft.com/es-es/azure/cognitive-services/face/face-
how-to-install-containers
• https://docs.microsoft.com/es-es/azure/cognitive-services/text-
analytics/how-tos/text-analytics-how-to-install-containers

50. Q & A

51. Invitación: Call for Speakers .NET Conf Latam
2021
https://sessionize.com/dotnetconflatam2021/

52. Invitación: Call for Speakers Global AI Back
Together Latinoamérica 2021
https://sessionize.com/global-ai-back-together-latinoamerica-2021/

53. Invitación: Azure Tech Frogs Nenúfar Ep. 02
https://www.facebook.com/azuretechfrogs
https://www.eventbrite.com.mx/e/nenufar-ep-2-tickets-170630579657

54. ¡Muchas gracias por tu atención!
Luis Beltrán
Tomás Bata University in Zlín
Tecnológico Nacional de México en Celaya
luis@luisbeltran.mx luisbeltran.mx @darkicebeam
/icebeam /darkicebeam /luisantoniobeltran
/icebeam7 about.me/luis-beltran