Heroku, RabbitMQ и многие работники. Какая лучшая архитектура?

Question

Я ищу наилучший подход для решения следующих задач:

У меня есть несколько пограничных устройств, публикующих данные датчиков для брокера RabbitMq. Брокер будет испытывать общую нагрузку ~ 500 сообщений в секунду. Затем есть рабочий динамик python, который потребляет один датчик за один раз, применяет к нему фильтр (который может занимать до 5-15 мс) и публикует результат на другую тему.

Конечно, одного работника недостаточно, чтобы обслуживать все запросы, поэтому мне нужно правильное масштабирование. Я использую очередь, чтобы убедиться, что каждое считывание датчика потребляется только один раз!

Мои вопросы:

1. ли я масштабироваться горизонтально и просто начать столько динамометрические стенды, сколько необходимо для обработки всех запросов в очереди RabbitMQ? Кажется простым, но дорогим.

2. Или было бы лучше иметь меньше динозавров, но больше потоков, работающих на каждом дино, и, используя, например, сельдерей?

3. Или имеется балансировщик нагрузки, который потребляет 1 элемент из очереди и динамически динамически динамически?

4. Что-то совсем другое?

Answer 1

вариант 1 или 2 ваши лучшие ставки

я не думаю, что вариант 3 существует без привязки непосредственно в Heroku API, и писать тонны кода для себя ... но это излишеством для ваших нужд, IMO

между 1 & 2, выбор будет зависеть от того, хотите ли вы повысить способность обрабатывать больше сообщений без повторного развертывания вашего кода.

вариант 1, как правило, является моим предпочтением, потому что я могу просто добавить новый экземпляр dyno и сделать это. занимает 10 секунд.

вариант 2 может работать, если вы не против настройки кода и перераспределения. это добавит дополнительное время и усилия для компромисса стоимости.

, но в какой-то момент, вариант 2 должен будет превратиться в вариант 1 в любом случае, так как вы можете только так много работать на дино, чтобы начать. вы столкнетесь с ограничениями на потоки, с dynos. и тогда вы будете масштабироваться с помощью динамиков.