A talk on Python Celery given at the Zurich Python User Group

1. Distributed Task
Processing with Celery
Part II
César Desales

2. Task granularity
¡ Example:
download and process data from 3 different sources.
¡ Parallellism vs Communication overhead

3. Resource leaks
¡ Why doesn't Python release the memory when I
delete a large object? http://bit.ly/1yHUUKt
¡ –maxtasksperchild
¡ CELERYD_MAX_TASKS_PER_CHILD

4. Pooling external resources
¡ Connect to DB
every time a task is
executed?
¡ Pass non
serializable objects
to workers?

5. Limits
¡ Task dependencies -> Deadlocks
¡ Stale results
¡ Throttling
¡ Retries
¡ -time-limit or CELERYD_TASK_TIME_LIMIT
¡ –soft-time-limit or CELERYD_TASK_SOFT_TIME_LIMIT

6. Scheduling
¡ Cron syntax
¡ Celery beat: single worker doing the scheduling

7. Queues
¡ celery -A proj worker -Q reporting --concurrency=3
¡ celery -A proj worker -Q operations --concurrency=20

8. Autoscaling
¡ celery --app=myapp worker --autoscale=15,8
¡ How many workers?
¡ How log is a piece of string?

9. Monitoring
¡ celery -A proj status
¡ celery -A proj purge
¡ celery -A proj inspect stats

10. Monitoring (flower)
¡ pip install flower
¡ celery flower --broker=redis://foobar/0 --port=5555
¡ python -m webbrowser -t "http://localhost:5555/"

11. Results
¡ Avoid if possible
¡ CELERY_RESULT_BACKEND='redis://localhost:6379/0’
¡ CELERY_TASK_RESULT_EXPIRES=1800
¡ In synch and asynch mode

12. Thanks!