Utilizando IA en Software: Azure IA Vision - OCR, - Analisis de Imagenes/Image Analysis - Reconocimiento de Rostros/Face Services - Analisis Espacial/Spatial Analysis

1. Utilizando IA en Software
Azure IA Vision
Ing. Jose A. Fernandez
@fernandezja
version 1.0-20240221

2. Agenda
1. IA: Adopción en la industria
2. Azure. Cloud computing.
3. Azure Cognitive Services > Azure IA Services
4. Azure Vision
5. Demos
• Ejemplos con imágenes y videos (online)
• Utilizando en una aplicaciónweb
6. Temas relacionados (Estudiantes de Sistemas)
7. Preguntas y Respuestas
version 1.0-20240221

3. Les voy a contar una historia…
version 1.0-20240221

4. Atarse los cordones
Imagen generada mediante IA con tecnología de DALL-E3
version 1.0-20240221

5. Solución “transitoria”…
version 1.0-20240221

6. Aplicar lo aprendido.
…“Poner en práctica… y más práctica…”
Imagen generada mediante IA con tecnología de DALL-E3
version 1.0-20240221

7. version 1.0-20240221

8. IA
• Velocidad de adopción de las tecnologías
• Mejoras en reconocimiento de lenguaje & imagen
• Adopción en la Industria
• ¿Dónde la utilizamos? Ciclo de vida para modelos de IA // On-Premise ~ Cloud
version 1.0-20240221

9. Velocidad de Adopción de la Tecnología
fuente: visualcapitalist.com
https://www.visualcapitalist.com/rising-speed-technological-adoption/
version 1.0-20240221

10. IA Mejoras en reconocimiento de Lenguaje & Imagen
fuente:https://aicheckup.substack.com/p/where-generative-ai-meets-healthcare
version 1.0-20240221

11. IA
Adopción en la
industria
fuente https://www.visualcapitalist.com/sp/ai-adoption-by-industry/
version 1.0-20240221

12. Entonces…
¿Cómo la utilizo en mis aplicaciones?
version 1.0-20240221

13. IA
¿Cómo la utilizamos?
¿Desde donde la utilizamos/alojamos?
version 1.0-20240221

14. Ciclo de vida para modelos de IA
version 1.0-20240221

15. IA On-Premise vs Cloud
Fuente: https://www.linkedin.com/pulse/selling-data-55-running-ai-public-cloud-versus-ayal-steinberg/
version 1.0-20240221

16. Azure
• ¿Qué es Azure? Cloud Computing
• ¿Cómo comenzar?
• Azure IA
version 1.0-20240221

17. ¿Qué es Azure? Cloud Computing
version 1.0-20240221

18. Azure Datacenters
version 1.0-20240221

19. version 1.0-20240221

20. Azure ¿Cómo comenzar? ¿Costos?
• Servicio de costo por uso
• …una suscripción
• Existen límites “free” en
todos los servicios
• Existen licencias para
“estudiantes”
• Existen suscripcion “free”
https://azure.microsoft.com
/es-es/free/
version 1.0-20240221

21. Azure IA
version 1.0-20240221

22. ML Platform
Customizable AI Models
Cognitive Services
Scenario-Based Services
Applied AI Services
Application Platform
AI Builder
Applications
AzureAI
Partner Solutions
Power BI Power Apps Power Automate Power Virtual Agents
Azure Machine Learning
Vision Speech Language Decision
Azure OpenAI
Service
Immersive Reader
Form Recognizer
Bot Service Video Indexer Metrics Advisor
Cognitive Search
Developers &
Data Scientists
Business
Users

23. Cognitive Services
Azure IA Services
https://www.microsoft.com/cognitive
…
https://azure.microsoft.com/es-es/products/ai-services/
version 1.0-20240221

24. Azure IA Services
Los servicios Azure IA
ayudan a los desarrolladores y a las organizaciones
a crear rápidamente aplicaciones inteligentes,
vanguardistas, listas para el mercado y responsables
con API y modelos listos para usar, preconstruidos y
personalizables.
“
”
Algunos ejemplos de aplicaciones son:
• el procesamiento del lenguaje natural para conversaciones,
• búsqueda,
• supervisión,
• traducción,
• voz,
• visión
• y toma de decisiones. version 1.0-20240221

25. Aplicaciones… ¿Inteligentes?
• Insertar en nuestras “apps”
• Aplicaciones móviles,
• Servicios/API,
• TV Smart,
• Smartwatch,
• Consolasde juegos
• Sitios web
• Bots
• Interacciones inteligentes = “like/similares” humanas
version 1.0-20240221

26. Azure IA Services
• Anterior denominación Azure Cognitive Services
• solo quedo el nombre en temas de reportes, facturación.
• Son API Rest (o SDK en los lenguajes mas conocidos)
• Previamente entrenadas en IA
• No es necesario ser un científico de datos para utilizarlos
• Permite a los desarrolladores agregar fácilmente “funciones cognitivas” a sus
aplicaciones.
• Devuelve JSON como salida
• Se admiten más de 36 idiomas.
• El catálogo de servicios puede categorizar en cinco pilares principales
• Visión,
• Habla,
• Lenguaje,
• Búsqueda web
• Decisión
version 1.0-20240221

27. Percepción Comprensión
Computer Vision
Face/Emotion Recognition
OCR/Handwriting
Custom Vision
Video Indexer
ContentModerator
Text-to-Speech
Speech-to-Text
Translator
CustomSpeech
Language Understanding
PII Detection
TextTranslatorText
Analytics QnA Maker
BingCustom Search
Bing Visual Search
version 1.0-20240221

28. Azure IA Services
Azure AI Search
Recupere los datos más
relevantesmediante
palabra clave, vectoresy
búsqueda híbrida.
Azure AI ContentSafety
Supervise imágenes y texto
para detectar contenido
ofensivo o inapropiado.
Azure AI Translator
Traduzca documentos y
textoen tiempo real en
más de 100 idiomas.
Azure AI Speech
Use servicios de IA líderes
del sector, como
conversiónde voz en texto
y de textoa voz,traducción
de voz y reconocimiento
del hablante.
Azure AI Vision
Lea texto, analice
imágenesy detecte caras
con reconocimientoóptico
de caracteres(OCR)y
aprendizajeautomático.
Azure AI Language
Cree interfaces
conversacionales,resuma
documentos y analice
textocon características
precompiladas basadas en
inteligenciaartificial.
Azure AI Document
Intelligence
Aplique aprendizaje
automático avanzado para
extraertexto, pares clave-
valor, tablas y estructuras
de documentos.
Azure OpenAI Service
Cree sus propias
aplicacionesde
inteligenciaartificial
generativay de copiloto
con modernos modelos de
visión y lenguaje.
version 1.0-20240221

29. Azure IA Vision
•OCR
• Reconocimientoóptico de caracteres
•Análisis de Imágenes
•Face
• Detecciónde Rostros
•Análisis espacial
version 1.0-20240221

30. Azure IA Vision > OCR
• Características
• Extracción de texto impreso y manuscrito
• Páginas, líneas de texto y palabras con
puntuaciones de ubicación y confianza
• Compatibilidad con idiomas mixtos
• Modo mixto (impresión y escritura a
mano)
• Disponible como contenedor para la
implementación local (privacidad y
seguridad)
• Demo
version 1.0-20240221

31. Azure IA Vision > Análisis de Imágenes
• Extraer una gran variedad de características visuales
• Determinar si tiene contenido para adultos,
• Buscar marcas u objetos específicos
• Buscar rostroshumanos.
• TIP: La versión más reciente de Image Analysis (4.0) nuevas
características
• OCR sincrónico
• Detección de personas
version 1.0-20240221

32. Azure IA Vision > Análisis de Imágenes
• Personalización de modelos (v4, preview)
• Crear y entrenar para realizar clasificacioneso detección de objetos
• Etiquetado personalizado
• OCR (Lectura del texto en la imagen) (v4)
• Texto Legible
• Detección de personas en imágenes (v4)
• Devuelve coordenadasdel rectángulo delimitador y la puntuación de
confianza
version 1.0-20240221

33. Azure IA Vision > Análisis de Imágenes
• Generación de “titulo”de la imagen(v3.2, v4)
• Devuelve coordenadasdel rectángulo delimitador y la puntuación de
confianza
• Generación de “subtitulos” para objetos detallados (v4)
• Devuelve coordenadasdel rectángulo delimitador y la puntuación de
confianza
version 1.0-20240221

34. Azure IA Vision > Análisis de Imágenes
• Detección de objetos (v3.2, v4)
• Devuelve la clase (tipo de objeto)
• Ubicaciónde cada objeto
(rectángulo delimitador)
• Porcentaje de confianza de la
detección
• NOTA: Se puede entrenar para
detectar objetos especificos
version 1.0-20240221

35. Azure IA Vision > Análisis de Imágenes
• Obtención del área de interés/recorte inteligente
• Generaciónde miniatura (v3.2)
• Recorte inteligente(v4, preview)
• Devuelve las coordenadasdel rectángulodelimitador
version 1.0-20240221

36. Azure IA Vision > Análisis de Imágenes
• Detección de Marcas (solo v3.2)
• Identifique las marcas comercialesen imágenes o vídeos
• Desde una base de datos de miles de logotipos globales.
• Clasificación de imágenes (solo v3.2)
• En base a una taxonomía de 86 categorías
• “Only english”
• Detección de caras (solo v3.2)
• Detección de tipo de imagen (solo v3.2)
• Ejemplo: Imagen, dibujo lineal, o que sea“prediseñada”
version 1.0-20240221

37. Azure IA Vision > Análisis de Imágenes
• Detección de contenido específico del dominio (v3.2)
• Ejemplo: como celebridades y monumentos.
• Detección de combinación de colores (v3.2)
• Ejemplo: Detectar blanco y negro o en color,
• y en las imágenes de color, identificarlos coloresdominantes y de
énfasis
• Moderación del contenido de las imágenes (v3.2)
• Contenido para adultos, con porcentajede confianza.
version 1.0-20240221

38. Azure IA Vision > Análisis de Imágenes
• Etiquetar “características” visuales (v4, preview)
• Crear y entrenar para realizar clasificacioneso detección de objetos
• Etiquetado personalizado
version 1.0-20240221

39. Azure IA Vision > Análisis de Imágenes
• Product Recognition (v4, preview)
• Permite analizar estantes de una tienda
• Detectar presenciao ausencia de productos (y obtener la ubicación)
• TIP: Personalizarmodelo para entrenare identificarproducto especifico
• Product Recognition (v4, preview)
• Permite analizar estantes de una tienda
• Detectar presenciao ausencia de productos
(y obtener la ubicación)
• TIP: Personalizarmodelo para entrenare
identificarproducto especifico
version 1.0-20240221

40. Azure IA Vision > Análisis de Imágenes
• Eliminación de fondo (v4, preview)
version 1.0-20240221

41. Azure IA Vision > Análisis de Imágenes
• Requisitos v3.2
• Formatos: JPEG, PNG, GIF o BMP
• El tamaño máximo 4 MB
• Las dimensiones:MIN 50 x 50 pix y MAX 16000 x 16000 pix
• Requisitos v4
• Formatos: JPEG, PNG, GIF, BMP, WEBP, ICO, TIFF o MPO.
• El tamaño máximo 20 MB
• Las dimensiones:MIN 50 x 50 pix y MAX 16000 x 16000 pix
version 1.0-20240221

42. Azure IA Vision > Face
• Ofrece servicios con algoritmos para detectar, reconocer y
analizar rostros humanos
• Escenarios
• Identificación
• Control de acceso
• “Desenfoque” facial (para la privacidad)
• “Fe de Vida”
En un flujo de vídeo de entrada es real (en directo) o falsa
(suplantación)
• IMPORTANTE: Para utilizar en PROD hay que solicitar permiso
version 1.0-20240221

43. Azure IA Vision > Face
• Face Detection
• Detecta rostrosy sus atributos
• Face Verification
• Verificasi son de la misma persona
• Similar Face Searching
• Encuentra rostrossimilares
• Face Grouping
• Agrupa rostros
• Face Identification
• Busca a que persona pertenece el rostro
version 1.0-20240221

44. Azure IA Vision > Face
version 1.0-20240221

45. Azure IA Vision > Face
version 1.0-20240221

46. Azure IA Vision > Análisis Espacial
• Detectar la presencia y
movimientos de personas en
vídeo
• Ejemplos:
• Contar el número de personas
que entran en un espacio
• Medir el cumplimiento de las
directricesde mascarilla y
distanciasocial.
version 1.0-20240221

47. Azure IA Vision > Análisis Espacial
• Recuento de entradas
• Tiempo de permanencia en
algún“polígono”/áreao cuando
ingresarpor una puerta
• Ejemplos
• Tiempo en cola
• Tiempo de permanencia en una
pantalla
• .
version 1.0-20240221

48. Azure IA Vision > Análisis Espacial
• Mascarilla y Distancia Social
version 1.0-20240221

49. Azure IA Vision > Análisis Espacial
• Recuperación de video
• Permite crear un índice de búsqueda,
• agregardocumentos (vídeos e imágenes)
• buscar con lenguaje natural.
• Los desarrolladores pueden definir esquemas de metadatos
• Definición de características (visión y voz)
version 1.0-20240221

50. Demos
• Ejemplos con imágenes y videos (online)
• Utilizando en una aplicaciónweb
version 1.0-20240221

51. version 1.0-20240221

52. version 1.0-20240221

53. Demo. Arquitectura de la aplicación web
App Web Azure IA
Vision API
Token de Acceso
• Endpoint (Url)
• Key (Secreto)
Azure
¿?
App Web ó
• Escritorio
• API
• IoT
• Smart TV
• Smartwatch
• Etc.
version 1.0-20240221

54. Demo. Arquitectura de la aplicación web
version 1.0-20240221

55. Temas relacionados
Estudiantes de Ingenieríaen Sistemas (o relacionado)
version 1.0-20240221

56. Temas , materias…
• POO (Programación Orientada a Objetos)
• Patrones de diseño de software
• Cloud computing
• Desarrollo de aplicaciones
• Autenticación de aplicaciones
version 1.0-20240221

57. Gracias
¿Preguntas? ¿Inquietudes?
Jose A. Fernandez
• @fernandezja
• https://github.com/fernandezja
• https://www.linkedin.com/in/fernandezja/
version 1.0-20240221
Sliders & Demo https://github.com/fernandezja/talk-azure-ia-vision