Presentación realizada en el grupo AWS meetup de Zaragoza. Experience de integración continua en AWS con Docker, ECS y PHP7. Caso de uso de aplicación real con API-céntrica y experiencia de migración de Azure a Amazon Web Services. Versión sin gatitos :)

1. Noviembre
2017
Integración continua
en AWS
con ECS y PHP7
Carlos Arilla Navarro carillan@gmail.com
Manuel Boira Cuevas manuelbcd@gmail.com

2. Background
¿Quiénes somos? ¿Cuál era el reto?

3. Carlos Arilla Navarro – Cloud architect. Everis Zaragoza.
Manuel Boira Cuevas – Software architect. Everis Zaragoza.
Trabajamos en un proyecto para una compañía multinacional con sede
en UK y ámbito europeo.
Nuestro equipo está deslocalizado. Lo forman 21 desarrolladores y 10
testers siguiendo metodología SCRUM. Colaboramos con diversos
equipos del cliente y proveedores externos.
¿Quiénes somos?

4. ¿Cuál era el reto?
El cliente buscaba una solución capaz de ofrecer a cada uno de sus partners un
producto “marca blanca” para la gestión de grandes flotas de vehículos.
Requisitos clave:
• Multi-tenant.
• Configurable, flexible.
• Orientado a integración.
• Auditable.
• Alta disponibilidad.
• Desarrollo ágil: Time-To-Market.

5. Como manager de
compras de ACME
quiero introducir 2000
nuevas unidades
Como jefe de
mantenimiento
quiero inspeccionar
todas las unidades
Como jefe de ventas
quiero que se anuncien
los unidades de esta
marca concreta.
Voy a comprar
unidades usadas para
mi tienda.
Casos de uso

6. La aplicación
Arquitectura de software y stack tecnológico

7. Static content Web
API
BPM
Integration
API
Business Rules Engine
Service Modules
Persistence
Estructura de la aplicación
Cliente
Front End
Orquestador
(Workflows)
Decisiones
Lógica de
negocio
Interfaces
External services

8. Stack tecnológico
Portable

9. Despliegue en Azure

10. Despliegue en Azure
• Despliegue en máquinas virtuales ordinarias.
• Un entorno completo dentro de cada VM.
• Orquestado de contenedores mediante
Docker compose.
• Todos los servicios funcionando sobre
Docker, incluyendo MySQL y MongoDB.

11. Despliegue en Azure
Esquema de un entorno:
• docker-compose.yml
• Volúmenes permanentes para las BD
• Instalación manual
• Jenkins, registro y otras herramientas en VM auxiliar

12. Despliegue en Azure
Esquema de la infraestructura:

13. Despliegue en Azure
Desde DevOps:
● Docker registry para imágenes.
● Jenkins para CI
● Testlink para QA
● SonarQube para code review
● Otras herramientas (Newman, Protractor, Composer…)
usadas sobre Docker

14. Despliegue en Azure
Ventajas de esta estructura:
•Difícilmente escalable, admite scale-up pero no scale-out
•Servicios altamente acoplados
•Dificulta crecer en tamaño de datos
•Montaje más sencillo posible
•Muy sencillo de arrancar y parar
•Fácil de portar
•Sin vendor lock-in
Desventajas de esta estructura:
Conclusiones:
•Entorno válido para desarrollo

15. Migración a AWS

16. Migración a AWS
El entorno de Azure es demasiado básico, necesitamos un entorno más
potente:
• El escalado horizontal es imprescindible.
• El escalado ha de poder ser asimétrico.
• El mantenimiento de grandes bases de datos debe ser sencillo.
• La gestión del registro de Docker debe ser más sencilla.
• El entorno debe ser resiliente y estable.

17. Migración a AWS
• El escalado horizontal es imprescindible.

18. Migración a AWS
El escalado ha de poder ser asimétrico.
El mantenimiento de grandes bases de datos debe ser sencillo.

19. Migración a AWS
La gestión del registro de Docker debe ser más sencilla.
El entorno debe ser resiliente y estable.
En el momento en que se tomó la decisión no todas estas alternativas existían.

20. Migración a AWS
Tareas necesarias para la migración:
• Diseño de la arquitectura.
• Modificación de los contenedores.
• Traslado de los datos.
• Adaptación y configuración de las herramientas DevOps.
• Transición del equipo de desarrollo a la nueva plataforma.

21. Migración a AWS
Arquitectura de AWS

22. Migración a AWS
Infraestructura completa de AWS

23. DevOps pipelines

24. DevOps pipelines
Pull Request testing
Pull Request

25. DevOps pipelines
APP Build and Deployment from Jenkins
Deploy
Start
Build API
Build
WEB
Build
BPM
Build
CRON
Deploy to
DEV ECS
Launch
Regression
Test
Git
checkout
app code
Git
checkout
infra code
Docker
Build
Docker
Build
Docker
TAG
ECR
push

26. DevOps pipelines
¿Qué más hacemos con Jenkins?

27. 360° Quality Assurance

28. 360º Quality Assurance
Los procesos de QA deben estar presentes en cada paso de la línea de
desarrollo de software para garantizar la integridad y ofrecer feedback
inmediato así como información para diagnósticos precisos.
Peer review
Unit testing
Pull Request test
Regression tests
API Client
Health check
Deploy
Development
Pull request
Build
Pull

29. 360º Quality Assurance
Code metrics
Load Tests
Security scan
Control explícito y periódico con mayor o menor automatización.
E2E Integration
Exploratory
tests
Technical debt
Security
threats
Performance
Bugs
BACKLOG
Profiling

30. 360º Quality Assurance
QA Monitoring dashboard
Usando un plugin de Jenkins y un PC sencillo hemos montado un monitor
de tiempo real a la vista del equipo en todo momento.
Green = Todo bien : Red = Blaming despiadado
Health checks
Build information
Regression tests
Pull requests
Code metrics Deployment info

31. Oportunidades de
mejora

32. Oportunidades de mejora
Actualmente Oportunidad/Mejora
Multiple cluster Single cluster
(ALB+ELB) - ALB ALB+NLB
Sync operations SQS for async operations
Symfony API API mgt. middleware
Strong server side Serverless microservices
Infrastructure services Infrastructure as code
Basic log management ELK stack + Lambda automations

33. Lecciones aprendidas

34. Lecciones aprendidas

35. Muchas
gracias
¿Preguntas?
Carlos Arilla Navarro carillan@gmail.com
Manuel Boira Cuevas
manuelbcd@gmail.com