Azure Cognitive Services allow developers to build powerful AI-based solutions, enabling different capabilities in our software: vision. speech, search, text analytics, language understanding, and much more. Basically, the model is already built by Microsoft, you just need to do an API call to the Azure cloud and the service retrieves a result. For instance, you send a message and the Text Analytics API returns its sentiment score.
However, there might be cases in which our customers need a local, non-cloud AI solution (either because of limited Internet access or data compliance). This is now possible thanks to the latest update of Azure Cognitive Services, which offers containerization support. Using containers, we can still deliver ML-driven solutions while keeping the data in-house.
In this talk, we'll explore what it takes to configure and use containers in Azure Cognitive Services. Demos will be showcased as well for local Face and Text Cognitive Services.
investigación de los Avances tecnológicos del siglo XXI
Bringing AI to the Edge: On-premises Azure Cognitive Services with Docker containers
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12. • ¿Qué pasa si no puedes subir una imagen o texto a la nube?
• El envío de datos fuera de la red interna puede estar sujeto a políticas
de privacidad.
• Analizar imágenes o texto localmente beneficiaría a las apps (baja
latencia).
Varias de las API de servicios cognitivos de Azure están disponibles como
contenedores Docker.
Container support en Azure Cognitive Services
13. • Puede descargar un contenedor que proporciona las mismas API exactas
que los servicios basados en la nube y ejecutarlo en un servidor local o
dispositivo de borde basado en Linux.
• Las imágenes y el texto se procesan directamente en el contenedor y nunca
se envían a la nube.
• Solo se requiere una conexión a Azure para la facturación, que está a la
misma tasa que los servicios basados en la nube (incluido un nivel gratuito).
La compatibilidad con contenedores en Azure Cognitive Services permite a los
desarrolladores utilizar las mismas API que están disponibles en Azure, y permite
la flexibilidad en el lugar de implementación y el alojamiento de los servicios
que vienen con los contenedores de Docker.
14. • Ejecutar servicios cognitivos de IA on-premises.
• Alto rendimiento
• Baja latencia
• Arquitectura portátil
• Control sobre los datos
Esto es esencial para los clientes que no pueden enviar datos a la nube
pero necesitan acceso a la tecnología de Servicios cognitivos
15.
16.
17. • Docker Engine: Docker proporciona paquetes que configuran el
entorno Docker en macOS, Linux y Windows.
• En Windows, Docker debe estar configurado para admitir
contenedores de Linux. Los contenedores de Docker también se
pueden implementar directamente en el servicio de Azure
Kubernetes o en las instancias de Azure Container.
• Recurso de Servicio Cognitivo creado en Azure
18. Los contenedores individuales también pueden tener sus propios
requisitos, incluidos los requisitos de asignación de memoria y servidor.
33. Install and Run LUIS docker containers
https://docs.microsoft.com/en-us/azure/cognitive-services/luis/luis-
container-howto
Install and Run Recognize Text containers
https://docs.microsoft.com/en-us/azure/cognitive-services/computer-
vision/computer-vision-how-to-install-containers
Running Cognitive Service containers
https://docs.microsoft.com/es-es/azure/cognitive-services/face/face-
how-to-install-containers
34. Install and Run Text Analytics containers
https://docs.microsoft.com/es-es/azure/cognitive-services/text-analytics/how-
tos/text-analytics-how-to-install-containers
35.
36. ¡Gracias!
Luis Beltrán
Tomás Bata University in Zlín
Tecnológico Nacional de México en Celaya
luis@luisbeltran.mx luisbeltran.mx @darkicebeam
GitHub:
https://github.com/icebeam7
LinkedIn:
https://linkedin.com/in/luisantoniobeltran
SlideShare:
https://slideshare.net/icebeam
YouTube:
https://youtube.com/user/darkicebeam
Comunidad Xamarin en Español:
https://www.facebook.com/groups/xamarindiplomadoitc/
About Me:
https://about.me/luis-beltran