Celery vs Ipython parallel

Question

Я просмотрел документацию обоим, но не уверен, что лучший выбор для данного приложения. Я посмотрел ближе на сельдерей, поэтому пример будет приведен в этих терминах.

My use case похож на этот question, при этом каждый рабочий загружает большой файл удаленно (один файл на машину), однако мне также нужны рабочие, чтобы содержать постоянные объекты. Итак, если рабочий завершает задачу и возвращает результат, то затем вызывается снова, мне нужно использовать ранее созданную переменную для новой задачи.

Повторение создания объекта при каждом вызове задачи слишком расточительно. Я не видел примера с сельдереем, чтобы привести меня к мысли, что это возможно, я надеялся использовать worker_init signal для достижения этого.

Наконец-то мне нужен центральный центр, чтобы отслеживать, что делают все работники. Это, по-видимому, подразумевает архитектуру клиент-сервер, а не ту, что предоставляется сельдереем, это правильно? Если это так, будет ли IPython Parallel хорошим выбором с учетом требований?

Answer 1

В настоящее время я также оцениваю параллельность Celery vs IPython. Что касается центрального центра, чтобы отслеживать, что делают работники, вы проверили проект Celery Flower here? Он предоставляет веб-страницу, которая позволяет просматривать состояние всех задач в очереди.