Celery es una biblioteca de colas de tareas asíncronas para Python. Permite ejecutar tareas en segundo plano de forma asíncrona para no bloquear el hilo principal. Incluye características como programación de tareas periódicas, reintentos automáticos, agrupación y encadenamiento de tareas, y herramientas de monitorización.

1. Celery
No hagas ahora lo que puedes dejar para otro momento
Antonio Páez - Open South Code 2017

2. Sin Celery
Mundo síncrono: Un hilo
comienza y ejecuta todas las
tareas.
- Actualizar datos
externos
- Enviar email
- Generar pdf
Criterio: Los resultados de una
tarea no son necesarios para la
siguiente
Procesa entrada
Haz esto
Haz lo otro
Procesa sálida
Petición
Respuesta

3. Con celery
Mundo asíncrono: Un
hilo ejecuta las tareas
principales.
Otro hilo ejecutará las
tareas adicionales.
Procesa entrada
Haz cosas
Cola de
adicionales
Procesa sálida
Petición
Respuesta
Ejecutar
adicionales

4. ¿Qué es Celery?

5. ¿Qué es Celery?
Celery es una cola de tareas asíncronas basada
en el paso de mensajes distribuidos.
Se enfoca a tareas en tiempo real, pero
también soporta la programación de tareas
periódicas.

6. Objetivos de hoy
■ Terminología
■ Introducción
■ Ejemplos de uso
■ Tareas periódicas
■ Tricks and Tips
■ Monitorización

7. ¿Qué necesitamos?
■ Celery: Paquete Python, también disponible para Node y PHP
■ Message Broker: RabbitMQ, Redis, SQLite... Sitio donde almacenar
las tareas
■ Results Store: RPC, Redis, Memcached… Sitio donde almacenar las
respuestas
■ Worker: Unidad que ejecuta una tarea de la cola.
■ Beat/Scheduler: Crear tareas para un momento dado.

8. ¿Cómo funciona?

9. Introducción

10. Introducción
Instalar:
Definir tarea en fichero tasks.py:
$ pip install celery
from celery import Celery
app = Celery('tasks', broker='pyamqp://guest@localhost//')
@app.task
def add(x, y):
return x + y
Broker
Cola
Tarea

11. Introducción
Lanzar workers:
$ celery -A tasks worker --loglevel=info

12. Introducción
Llamar a la tarea:
Celery logs
In [1]: from tasks import add
In [2]: add(2, 1)
Out[2]: 3
In [3]: add.delay(2, 1)
Out[3]: <AsyncResult: 4b933116-3a07-4633-99cb-15f5448bb738>
[2017-05-04 17:43:33,290: INFO/MainProcess]
Received task: tasks.add[4b933116-3a07-4633-99cb-15f5448bb738]
[2017-05-04 17:43:34,726: INFO/PoolWorker-2]
Task tasks.add[4b933116-3a07-4633-99cb-15f5448bb738] succeeded in 0.000915601s: 3

13. Ejemplos
de
uso

14. Llamando a tareas
delay vs apply_async
apply_async puede recibir opciones de ejecución:
● countdown: espera un tiempo para ejecutar
● expires: cancela ejecución en un tiempo
● eta: ejecuta en un momento exacto
task.delay(arg1, arg2, kwarg1='x', kwarg2='y')
task.apply_async(args=[arg1, arg2], kwargs={'kwarg1': 'x', 'kwarg2': 'y'})
task.delay(arg1, arg2, 'x', 'y')
task.apply_async((arg1, arg2, 'x', 'y'))
task.apply_async((arg1, arg2, 'x', 'y'), countdown=60, expires=120)

15. Comprobar tareas
Consultas al backend de resultados.
■ result.ready(): la tarea ha comenzado a ejecutarse
■ result.get(): resultado de la tarea, esperando si no ha terminado
■ result.successful(): la tarea terminó satisfactoriamente
■ result.revoke(): cancelar una tarea
■ result.result: resultado de la tarea
■ result.status: estado del resultado (PENDING, STARTED, RETRY,
SUCCESS, FAILURE)
from celery import Celery
app = Celery('tasks', backend='redis://localhost:6379/0', broker='pyamqp://guest@localhost//')

16. Enganchando tareas
El resultado de una tarea será recibido por la siguiente.
add.apply_async((2, 2), link=add.s(16))
add.apply_async((2, 2), link=[add.s(16), other_task.s()])
from celery import chain
add.apply_async((2, 2), link=chain(add.s(16), other_task.s()))

17. Agrupando tareas
El resultado no está disponible hasta que acaban todas las tareas.
from celery import group
g = group(add.s(2, 2), add.s(4, 4))
res = g.apply_async()

18. Tareas
periódicas

19. Programación de tareas
Para tener más control de cuando ejecutamos las tareas, celery ofrece
un programador al estilo crontab.
from celery.schedules import crontab
app.conf.beat_schedule = {
# Executes every Monday morning at 7:30 a.m.
'add-every-monday-morning': {
'task': 'tasks.add',
'schedule': crontab(hour=7, minute=30, day_of_week=1),
'args': (16, 16),
},
}

20. Programación de tareas
Para que las tareas se programen, necesitamos una instancia de celery
y un fichero para almacenar la última ejecución.
$ celery -A tasks beat -s /home/celery/var/run/celerybeat-schedule
Nota: La extensión django-celery-beat permite almacenar los programas en base de datos, además de una
interfaz para facilitar la gestión.

21. Tricks
&
Tips

22. Reintentar tarea
Reintentar tareas bajo excepciones controladas.
@app.task(bind=True)
def send_twitter_status(self, oauth, tweet):
try:
twitter = Twitter(oauth)
twitter.update_status(tweet)
except (Twitter.FailWhaleError, Twitter.LoginError) as exc:
raise self.retry(exc=exc)

23. Reintentar tarea
Si no se indica nada, default_retry_delay está a 3 minutos.
Podemos indicar un valor diferente de dos modos.
@app.task(bind=True, default_retry_delay=30 * 60) # retry in 30 minutes.
def add(self, x, y):
try:
something_raising()
except Exception as exc:
# overrides the default delay to retry after 1 minute
raise self.retry(exc=exc, countdown=60)

24. Reintentar tarea
Con autoretry_for podemos definir bajo que excepciones se quiere
reintentar.
Con retry_kwargs definimos número máximo de reintentos.
@app.task(autoretry_for=(FailWhaleError,),
retry_kwargs={'max_retries': 5})
def refresh_timeline(user):
return twitter.refresh_timeline(user)

25. Reintentar tarea
Con autoretry_for podemos definir bajo que excepciones se quiere
reintentar.
Con retry_kwargs definimos número máximo de reintentos.
@app.task
def refresh_timeline(user):
try:
twitter.refresh_timeline(user)
except FailWhaleError as exc:
raise div.retry(exc=exc, max_retries=5)

26. Múltiples colas
La tarea import_feed de la aplicación feed irá a una nueva cola ‘feeds’.
Estos workers solo ejecutarán tareas de la cola ‘feeds’.
task_routes = {'feed.tasks.import_feed': {'queue': 'feeds'}}
$ celery -A proj worker -Q feeds

27. Unit tests
Aislar tests de las tareas.
Para probar integración, forzar sincronía.
CELERY_ALWAYS_EAGER = True

28. Monitorización

29. Monitorización desde línea de comandos
■ celery -A proj <comando>
■ status: lista nodos activos
■ result: resultado de una tarea
■ purge: Elimina los mensajes de todas las colas o de las indicadas.
$ celery -A tasks status
$ celery -A tasks result -t c9cf213e-4542-4a7a-b0d0-350dfb137581
$ celery -A tasks purge -Q feeds

30. Monitorización desde línea de comandos
■ celery -A proj <comando>
■ inspect active: Lista tareas activas.
■ inspect scheduled: Lista tareas reservadas.
■ migrate: Nuevo para migrar de un broker a otro
$ celery -A tasks inspect active
$ celery -A tasks inspect scheduled
$ celery -A tasks migrate redis://localhost amqp://localhost

31. Monitorización desde Flower
Monitor a tiempo real desde interfaz.
$ pip install flower
$ celery -A proj flower

32. Monitorización desde Flower

33. Buenas prácticas
Usar retryNo pasar objetos del
orm como
argumentos a tareas
Usar más de una
cola
MonitorizarUsar logs Controlar la
persistencia del
broker

34. acabar.delay()

35. ¡gracias!