Каков оптимальный способ организации бесконечно зацикленной рабочей очереди?

Question

У меня около 1000-10000 заданий, которые мне нужно запускать на постоянной основе каждую минуту или около того. Иногда новая работа приходит или другие нужно отменить, но это редкое событие. Рабочие места помечены и должны быть нарушены рабочими, каждый из которых обрабатывает только задания определенного типа.

На данный момент я хочу использовать cron и загружать всю базу данных заданий в каком-то брокере - RabbitMQ или beanstalkd (не решили, какой из них использовать).

Но этот подход кажется мне уродливым (используя таймер для имитации бесконечности, загрузки всей базы данных и т. Д.) И имеет недостаток: например, если какие-то задания обрабатываются медленнее, чем добавляются в очередь, они могут быть перегружены и брокер сообщений будет есть все бараны, поменять местами, а затем просто остановиться.

Есть ли другие возможности? Я не использую правильные шаблоны для работы? (Может быть, мне не нужна очередь или что-то такое?)

p.s. Я использую python, если это важно.

Answer 1

Вы создаете свою начальную партию заданий и добавляете их в очередь. У вас есть n-потребители очереди, каждая из которых выполняет задания. Добавление потребителей в очередь просто округляет распределение заданий каждому слушающему потребителю, что дает вам произвольную горизонтальную масштабируемость.

Каждое задание может после завершения отвечать на повторную отправку обратно в очередь. Это означает, что ваша очередь заданий не будет расти за пределы той длины, в которой вы ее инициализировали. Мастер-задание может, при необходимости, создавать подзаголовки и добавлять их в очередь.

Для разных типов рабочих мест, вероятно, неплохо использовать разные очереди. Таким образом, вы можете более эффективно балансировать нагрузку, имея разные количества/лошадиные силы рабочих, выполняющих задания из разных очередей.

Тот факт, что вы используете Python, здесь не важен, это шаблон, а не тот язык, который вам нужно сначала прибить.

Answer 2

Вы можете использовать асинхронную структуру, например. Twisted

Я не думаю, что это хорошая идея запускать скрипт cron daemon каждую минуту (и вы упомянули причины), поэтому я предлагаю вам Twisted. Это не дает вам преимуществ при планировании, но вы получаете гибкость в управлении процессами и обмене памятью.