1. Computación distribuida
usando Celery para Python:
Construye aplicaciones rápidas y escalables fácilmente

2. ¿Quién les habla?
Sebastián Ramírez
CTO en: www.senseta.com
Github: github.com/tiangolo
Linkedin: linkedin.com/in/tiangolo
Twitter: twitter.com/tiangolo

3. Celery
@tiangolo

4. ¿Quién lo usa?
...y muchos otros.
@tiangolo

5. ¿Qué es Celery?
Celery is an asynchronous task queue/job queue based on distributed message
passing. It is focused on real-time operation, but supports scheduling as well.
Celery es una cola (o sistema para administrar colas) de tareas o trabajos de
manera asíncrona, basado en envío de mensajes. Está enfocado en operaciones
en tiempo-real, pero también soporta tareas programadas.
@tiangolo

6. WTF?
@tiangolo

7. ¿Qué problemas resuelve?
● Aplicación web “lenta”
● Web que recibe datos y los procesa antes de almacenar
● Procesamiento adicional (extracción de entidades, Machine Learning...)
● Un servidor solo no alcanza a hacer todo lo que se necesita
● Coordinar múltiples dispositivos en red (e.g. coordinación de Raspberry Pi)
● Secuencias de pasos a ejecutar (e.g. procesar -> analizar -> almacenar)
@tiangolo

8. @tiangolo

9. ¿Cómo resuelve problemas?
● Cada componente modularizado hace solo su parte
● Se pasan “tareas”, “trabajos” o “mensajes” entre módulos
● “Hey! Ejecuta esta función X con estos parámetros Y y Z!”
● Una aplicación principal ejecuta funciones de Celery que envían “tareas”
● “Workers” o “trabajadores” están “escuchando” tareas
● Cada “worker” va tomando tareas de una “cola” de tareas (lista de pendientes)
● Esa cola es RabbitMQ, Redis u otros
● Celery es el “pegante” que une todo, maneja la comunicación entre partes
@tiangolo

10. Arquitectura de Celery
@tiangolo

11. Arquitectura de Celery 2
@tiangolo

12. Desvío, atajo: ¿qué es Docker?
● Máquinas virtuales, solo que no
● Virtualenv, solo que no
● “Containers” mini-Linux sobre Linux
● Seguridad
● Dependencias
● “Pero en mi laptop funciona”
● “Imágenes” pre-existentes
● Aprendizaje de otros sistemas
● Empezar de cero más rápido
● ...etc
@tiangolo

13. @tiangolo

14. Arquitectura de Celery, con Docker
@tiangolo

15. Arquitectura de Celery, con Docker, multi máquina
@tiangolo

16. Arquitectura de Celery, con Docker, multi-workers
@tiangolo

17. “Workers” o trabajadores en diferentes servidores
@tiangolo

18. @tiangolo

19. Código celery_app.py
@tiangolo

20. Código main.py
@tiangolo

21. Código Worker: tasks.py
$ celery worker -A tasks -l info
@tiangolo

22. “Queues” o “colas” especializadas por tipo de worker
@tiangolo

23. @tiangolo

24. “Colas” especializadas celery_app.py
@tiangolo

25. “Colas” especializadas
Worker A (requests): tasks.py
$ celery worker -A tasks -l info -Q queue-a
@tiangolo

26. “Colas” especializadas
Worker B (markdown): tasks.py
$ celery worker -A tasks -l info -Q queue-b
@tiangolo

27. “Colas” especializadas main.py
@tiangolo

28. “Chains” o “cadenas” de tareas
@tiangolo

29. @tiangolo

30. “Cadenas” de tareas celery_app.py
@tiangolo

31. “Cadenas” de tareas Worker A (requests): tasks.py
$ celery worker -A tasks -l info -Q queue-a
@tiangolo

32. “Cadenas” de tareas Worker B (markdown): tasks.py
$ celery worker -A tasks -l info -Q queue-b
@tiangolo

33. “Cadenas” de tareas main.py
@tiangolo

34. “Cadenas” de tareas main.py (con formato)
@tiangolo

35. Sub tareas generadas en workers (sin “cadenas”)
@tiangolo

36. @tiangolo

37. Se puede tener un back end de resultados
@tiangolo

38. Escribir en DB y responder luego
@tiangolo

39. Llamar API externo lento
@tiangolo

40. ¿Preguntas?
@tiangolo

41. ¡Gracias!
Sebastián Ramírez
CTO en: www.senseta.com
Github: github.com/tiangolo
Linkedin: linkedin.com/in/tiangolo
Twitter: twitter.com/tiangolo