Ejemplo de como integrar problemas de Machine Learning en arquitecturas de microservicios con Apache Spark y Spring Boot

1. INTEGRANDO MACHINE LEARNING Y
MICROSERVICIOS

2. SOBRE NOSOTROS
Julio Palma Vázquez
Desarrollador Java desde hace
más de 17 años, muy interesado
en IoT, microservicios y
arquitectura de aplicaciones. El
trabajo me ha llevado a buena
parte de España pero también a
Dinamarca, Alemania, Irlanda y
EEUU. Speaker en eventos locales
e internacionales. Implicado con
la comunidad de desarrolladores.
Gran fan de la ciencia ficción y
los juegos de rol, ciclista de
montaña y padre orgulloso. En
mis ratos libres trabajo en
Accenture Technology
Rafael Hidalgo Calero
Programador Sénior Java.
Actualmente, ando
introduciéndome en el mundo
Big Data. Defensor de la filosofía
open source. Speaker en la
pasada edición del Lambda
World, Cádiz. Trabajando en
Accenture Technology desde
2012
https://github.com/oscurowebhttps://github.com/restalion
@restalion @oscuroweb

3. OTRAS CHARLAS DE ACCENTURE TECHNOLOGY
Spring Cloud Microservices 101
01 Junio 02 Junio
Open Source Code Inspection, Security and
Testing Power Tools
Integrando Machine Learning en Microservicios
Selenium 1:1Desarrolla aplicaciones web sin usar HTML ni
JavaScript
Accenture Technology Stand
@juanmacintas, @restalion
Sala Colmenar 3, 11:00
@oscuroweb, @restalion
Sala Benalmádena 2, 16:00
@cloud4dev
Sala Colmenar 3, 12:00
@_deors
Sala Fuengirola 1, 17:30
@viarellano,
@thetechoddbug
Sala Canillas 13, 17:30
Podéis visitarnos en nuestro
stand a lo largo de toda la
conferencia
Introducción a Lagom y primeros pasos
@oscuroweb, David Urdiales
Sala Riogordo 1, 18:00

4. MACHINE LEARNING (ML)
Tratamiento de datos: selección
de labels, normalización,
categorización, etc…
División de los datos en conjuntos
de entrenamiento, validación y
test
Elección del modelo y parámetros:
Random Forest, SVM, Neural Net,
etc…
Entrenamiento
Evaluación
Obtención de datos
Exportación del
modelo

5. MICROSERVICIOS (µS)
Métricas
Resistencia
a errores
Servicio
DAO
Presentación
Localización de
servicios
EIS
DAO DAO
EIS EIS
Servicio Servicio Servicio
Configuración
centralizada
Logs distribuidos
Auditoría
Seguridad
(H2M y M2M)
Composición
de la solución
Gestión de
la carga
Documentación de
interfaces

6. UNIENDO AMBOS CONCEPTOS (ML + µS)
 El problema habitual de los algoritmos de ML es que no están pensados para soluciones en producción.
 Integración entre los distintos componentes de la solución.
 Necesitamos definir una arquitectura que nos permita aprovechar:
 Ejecuciones de los algoritmos de ML (y toda su potencia).
 Flexibilidad de las arquitecturas de µServicios.
 Todos los mecanismos de DevOps aplicables al resto de la solución.

7. UNA PROPUESTA DE ARQUITECTURA DE EJECUCIÓN
income-predictor-
vaadin income-predictor-service income-predictor-ml
- Expone la UI
- Consume el servicio
REST
- Expone el interfaz REST
- Lee el modelo desde el fichero
- Guarda el feedback de los
usuarios para permitir reentrenar
el algoritmo
- Servicio planificado para reentrenar el
modelo con los datos originales y el feedback
de los usuarios
- Guardado del modelo generado

8. UNA PROPUESTA DE ARQUITECTURA DE EJECUCIÓN
income-predictor-
vaadin income-predictor-service income-predictor-ml
 Spring Boot como framework base, completamente integrado con el resto de la aplicación.
 Apache Spark como gestor de la parte ML
 Vaadin como framework de presentación

9. DESPLIEGUE DEL PROYECTO
income-predictor-
vaadin income-predictor-service income-predictor-ml
git jenkins docker-registry
- Utilizamos git como
repositorio de código.
- Los desarrolladores
trabajan utilizando
git-flow.
- Jenkins está conectado
a git.
- Cada vez que un
subimos código se
lanza el pipeline.
- El último paso del
pipe es guardar la
imagen generada en
el registry
El despliegue se realiza a partir de
la imagen que tenemos en el Docker
registry

10. DEMO
 https://github.com/oscuroweb/opensouthcode-ml-microservices

11. VENTAJAS DE LA ARQUITECTURA
 Uso de frameworks bien conocidos en el desarrollo de microservicios.
 Integración con los entornos de CI, y gestión de la calidad.
 Todo el código Java puede utilizar la potencia de las herramientas de gestión de la calidad.
 Al utilizar Docker simplificamos los despliegues y unificamos los distintos entornos.
 El uso de interfaces REST para la integración nos permite utilizar un entorno políglota en el que parte de
la solución esté escrita en Java y otra en lenguajes como Python, R, … “solo” tenemos que exponer un
interfaz que sea consumible por el resto de la solución.