Este eBook es una guía completa sobre MLOps, una disciplina clave que garantiza el éxito de los proyectos de Machine Learning (ML) en las organizaciones.
Descubre los desafíos específicos en el desarrollo de soluciones basadas en modelos de ML, destacando la importancia de la integración de perfiles de científicos de datos y la colaboración efectiva entre equipos multidisciplinarios. Te ayudará a proporcionar estrategias y herramientas para implementar MLOps de manera efectiva, dividiendo responsabilidades, promoviendo la experimentación repetible y garantizando procesos ágiles y confiables en el desarrollo y despliegue de modelos de ML.
MLOps se consolida como un recurso esencial para mejorar la competitividad empresarial al incorporar modelos de ML de manera ordenada, facilitando mejoras continuas y explorando rápidamente nuevas oportunidades de negocio.
nubiral.com
eBook Nubiral _ MLOps_ impulsando el valor de machine learning.pdf
1. Garantizando el éxito
de los proyectos
de aprendizaje automático.
Esta disciplina aporta la metodología, las prácticas y los marcos de
trabajo para impactar de manera positiva en la gestión y en
la operabilidad de los proyectos de aprendizaje automático.
MLOps:
E-book
nubiral.com
2. MLOps (acrónimo en inglés para “ML” -machine learning- y “Ops” -operaciones-) busca
garantizar el éxito de los proyectos de machine learning dentro de una organización.
Para eso, apunta a entregar el marco de trabajo, las técnicas y las tecnologías para garantizar
la operabilidad de los modelos de aprendizaje automático.
Como estos son uno de los productos de datos que genera una organización, es una
disciplina que marida con los principios de DataOps. Sin embargo, las prácticas son
diferentes.
Este e-book tiene como objetivo que el lector logre comprender a fondo de qué se trata esta
disciplina. Se enfoca en cómo capitalizarla para obtener mayor valor agregado y explica
cuáles son sus diferencias con DataOps.
01. Introducción.
Página 1 | MLOps: impulsando el valor de machine learning. #WeAreNubiral
3. 02. Qué es MLOps.
Página 2 | MLOps: impulsando el valor de machine learning. #WeAreNubiral
Pensemos un escenario donde una organización tiene en producción un solo modelo de ML.
Este deberá, regularmente, ser reentrenado, evaluado y, potencialmente reemplazado por
una nueva versión pasada a producción.
A su vez, un equipo de data scientist podrá trabajar en paralelo en experimentos para
mejorarlo e incorporar features. Es decir, nuevas variables que nos ayuden a predecir.
Incluso, los científicos de datos deberán evaluar cómo responder ante situaciones cambian-
tes del negocio que puedan afectar los resultados de las predicciones.
A pesar de que estamos ante un escenario sencillo (un solo modelo) vemos que son
numerosas las tareas de gestión y operabilidad que hacen al éxito del proyecto. A medida
que crece el número de modelos, aumenta la complejidad.
MLOps se centra en la intersección entre la ciencia de datos y la ingeniería de datos:
· Combina prácticas existentes de DevOps y desarrollo ágil de software..
· Agiliza la entrega de modelos a lo largo de todo el ciclo de vida de su desarrollo.
· Ofrece la metodología, las prácticas y los marcos de trabajo para impactar de manera
positiva tanto en los resultados como en la gestión.
4. 03. Qué desafíos atacamos con
la implementación de MLOps.
Página 3 | MLOps: impulsando el valor de machine learning. #WeAreNubiral
El desarrollo de soluciones basadas en modelos de ML no es una tarea sencilla. Ni siquiera se
parece a otros tipos de la rama de ingeniería como para que puedan tomarse como
parámetro.
Existen incertidumbres y aspectos a considerar a la hora de crearlas e implantarlas en un
ambiente productivo. Por lo tanto, es esperable que también la gestión de estos proyectos
sea particular, en especial en dos aspectos:
· La integración de perfiles de científicos de datos. En general, no hablan el mismo lenguaje
técnico que el resto de los equipos, en especial de los de ingeniería de software.
· La colaboración de científicos de datos con el resto de equipos multidisciplinarios. Se trata
de un elemento clave para el éxito de las iniciativas.
En este contexto, las herramientas de MLOps:
· Apuntan a facilitar el trabajo de quienes desarrollan, entrenan y evalúan modelos de ML.
· Facilitan la integración dentro del ciclo de vida del desarrollo de software.
· Habilitan una observación continua del modelo en producción, para comprender cuándo
debe ser reentrenado y reevaluado.
· Permiten en el reentrenamiento cambios a nivel de algoritmos, modelos, feature
engineering, set de datos de entrenamiento e integración con otros sistemas.
· Brindan los equipos para que se puedan hacer estas tareas de manera ordenada,
gestionable, con visibilidad y automatizada.
5. Página 4 | MLOps: impulsando el valor de machine learning. #WeAreNubiral
De manera similar a DataOps y DevOps, es necesario implementar un repositorio de código,
CI/CD e infraestructura como código.
En el caso puntual de MLOps, se recomienda agregar:
· Mecanismos de observabilidad de los modelos. Implican métricas cualitativas de
performance de los modelos en ambientes productivos.
· Mecanismos de feedback loops. Se recaban los datos de uso del modelo en entorno
productivo para que fluyan de regreso al entorno de prototipado o desarrollo de software. Así,
se optimizan la iteración y la mejora.
· Versionado y etiquetado de datasets. Son necesarios para entrenamiento, evaluación y
testing de los modelos en desarrollo. En particular, en ML necesitamos saber con qué dataset
se entrenó, evaluó o validó un modelo específico.
· Monitoreo de la calidad de los datos. Vincularlo con las herramientas y las políticas de
gobierno de datos. La performance de los modelos en entornos productivos depende de
la data, por lo que es clave que sean de buena calidad.
· Herramientas que permitan hacer tracking de experimentos. La experimentación repetible
es un aspecto importante a la hora de desarrollar soluciones de ML. Buscamos mejorar la
comunicación entre los equipos y dentro de un mismo grupo. Por lo tanto, es fundamental
contar con la infraestructura y las herramientas para experimentar y prototipar rápidamente.
04. ¿Cómo implementar MLOps?
6. Página 5 | MLOps: impulsando el valor de machine learning. #WeAreNubiral
Al implementar MLOps, buscamos separar las responsabilidades de los equipos.
· Ingeniería: queda a cargo de gestionar la infraestructura y los ambientes.
· Ciencia de datos: se ocupa de los modelos, los experimentos, los análisis exploratorios de
datos y feature engineering. Esto último también puede ser responsabilidad del equipo de
arquitectura de datos o de ingeniería de datos.
Además, facilita que los perfiles de ciencia de datos puedan ser incorporados en las
organizaciones.
No se trata de una tarea sencilla. El perfil de ciencia de datos no siempre proviene de carreras
de ingeniería o del mundo del desarrollo de software.
Hoy en día, personas de diferentes disciplinas, con un gran conocimiento de matemáticas y
álgebra, han transicionado al mundo de la ciencia de datos.
Esto ocasiona, que muchas veces no cuenten con conocimiento previo de desarrollo de
software y manejo de infraestructura.
En resumen: las prácticas y las herramientas de MLOps nos permiten separar con claridad las
responsabilidad de los diferentes roles.
05. Los beneficios de MLOps:
división de responsabilidades.
7. Página 6 | MLOps: impulsando el valor de machine learning. #WeAreNubiral
· Permite contar con una buena gestión de la metadata sobre los datos y sobre los
modelos.
Esto implica mayor facilidad a la hora de replicar experimentos, investigar e indagar sobre el
comportamiento de los modelos, y en definitiva, mejorar su calidad.
También habilita un ecosistema más ordenado, con las diferentes versiones de un modelo y
los datasets asociados.
· Permite disponer de una plataforma que alienta a la experimentación repetible de
una manera costo eficiente.
Es posible rápidamente levantar una infraestructura de procesamiento, un set de datos
previamente identificado, para facilitar el proceso de plantear una hipótesis y validarla. En el
proceso, la preocupación se centrará en la utilización del método científico y no en la logística
de disponibilización de infraestructura y datos.
· Habilita procesos de desarrollo y despliegues de modelos de ML más confiables, con
procesos auditables que impactan positivamente en los resultados.
Al mismo tiempo, brinda procesos más ágiles, con una relación de costo eficiente y razonable
para los modelos que se quieran desarrollar.
06. Otros beneficios de MLOps.
8. Página 7 |MLOps: impulsando el valor de machine learning. #WeAreNubiral
Para implementar eficazmente MLOps, se requiere de un conjunto de herramientas
tecnológicas que permitan llevar a cabo las diversas tareas.
Este listado no es extenso, pero puede servir de guía para los lectores.
· Git, GitLab, Azure Devops, AWS CodeCommit, AWS CodeBuild, BitBucket, CodePlex.
· CloudFormation, LakeFormation, Terraform, Google Deployment Manager, Bicep, Ansible,
Azure Managment Tools, Morpheus
· SageMaker, Azure ML, Databricks, Vertex AI, DataRobot, Metaflow, Weights & Biases,
Valohai, Qwak, Kubeflow, TrueFoundry, neptune.ai, Comet ML.
Estas herramientas también son útiles para implementar DevOps.
07. Herramientas para
implementar MLOps.
9. Página 8 | MLOps: impulsando el valor de machine learning. #WeAreNubiral
MLOps tiende a evolucionar, ganar adopción y estandarizarse en las organizaciones que
buscan obtener valor de sus modelos de ML. Lo hará de la misma forma en que ya lo hizo
DevOps para el desarrollo e implementación de soluciones digitales.
Así, los modelos de ML se vuelven más importantes para anticipar la demanda, mejorar la
experiencia del cliente o ganar eficiencias. En este contexto, MLOps se consolida como un
recurso clave para mejorar la competitividad.
En los últimos tiempos, esta disciplina experimentó una notable evolución.
Aún así, se espera que las prácticas, las herramientas y los frameworks disponibles vinculados
a MLOps y DataOps continúen madurando y proliferando.
MLOps aporta los siguientes beneficios al negocio:
· Permite incorporar de manera ordenada y a escala organizacional modelos de ML.
· Ofrece mecanismos para implementar mejoras continuas en los modelos de ML.
· Habilita la exploración rápida de nuevas oportunidades de negocio apalancados en
modelos de ML.
¿Te interesa obtener el máximo valor agregado de tus modelos de machine learning?
Nuestros expertos están esperando tu contacto para ayudarte: ¡Agenda tu reunión!
08. Conclusiones.