Descargar como PDF, PPTX
Distributed Task Processing with Celery - PyZH
- 1. Distributed Task Processing withCelery Part II César Desales
- 2. Task granularity ¡ Example: downloadand process data from 3 different sources. ¡ Parallellism vs Communication overhead
- 3. Resource leaks ¡ Whydoesn't Python release the memory when I delete a large object? http://bit.ly/1yHUUKt ¡ –maxtasksperchild ¡ CELERYD_MAX_TASKS_PER_CHILD
- 4. Pooling external resources ¡ Connect to DB every time a task is executed? ¡ Pass non serializable objects to workers?
- 5. Limits ¡ Task dependencies-> Deadlocks ¡ Stale results ¡ Throttling ¡ Retries ¡ -time-limit or CELERYD_TASK_TIME_LIMIT ¡ –soft-time-limit or CELERYD_TASK_SOFT_TIME_LIMIT
- 6. Scheduling ¡ Cron syntax ¡ Celery beat: single worker doing the scheduling
- 7. Queues ¡ celery -Aproj worker -Q reporting --concurrency=3 ¡ celery -A proj worker -Q operations --concurrency=20
- 8. Autoscaling ¡ celery --app=myappworker --autoscale=15,8 ¡ How many workers? ¡ How log is a piece of string?
- 9. Monitoring ¡ celery -Aproj status ¡ celery -A proj purge ¡ celery -A proj inspect stats
- 10. Monitoring (flower) ¡ pipinstall flower ¡ celery flower --broker=redis://foobar/0 --port=5555 ¡ python -m webbrowser -t "http://localhost:5555/"
- 11. Results ¡ Avoid ifpossible ¡ CELERY_RESULT_BACKEND='redis://localhost:6379/0’ ¡ CELERY_TASK_RESULT_EXPIRES=1800 ¡ In synch and asynch mode
- 12.