Рабочий умирает после получения 1000 заданий одновременно в Django Celery

Question

Я запускаю скрипт, который генерирует почти 10000 объектов. При сохранении каждого объекта будет называться задача Сельдерея, поэтому всего за 1-3 минуты Сельдерей получает 1000 задач, а его работник умирает (состояние пока отображается как RUNNING).

Поэтому мне нужно перезапустить снова и снова. Поскольку я перезапускаю много раз, многие процессы Python (которые запускают Celery) потребляют много памяти.

Answer 1

Если я правильно понимаю, у вас такая же проблема, как у меня было несколько недель назад. Каждый раз так часто казалось, что наш работник сельдерея просто замерзал (мы обнаружили, что он действительно получал задания, но не выполнял его), и после перезагрузки рабочего он бросился через задачи, пока не решит снова замерзнуть.

Проблема была решена путем установки следующих патрулей.

pip install https://github.com/celery/billiard/zipball/2.7 
pip install https://github.com/celery/celery/zipball/asynwrite 

Я нашел решение на странице Проблема отслеживания GitHub для проекта сельдерея, но я не могу найти точный билет. Heres a link to a similar issue though (that uses this as a solution).