Динамические авто масштабирование AWS на основе сообщений в SQS

Question

Используйте случай:

Каждый день утром SQS будет заполняться (только один раз, и количество сообщений, может значительно варьироваться), я хочу, чтобы породить новые экземпляры, как в количество сообщений в очереди.

например: для 200000 сообщений 4 экземпляра, 400000 8 экземпляров.

Есть ли способ, которым мы можем достичь этого?

Answer 1

1. Вы можете настроить в cronом на сервере или время запускаемого Lambda для запроса SQS, чтобы узнать количество видимых сообщений в очереди. Если вы используете AWS CLI, вы должны запустить aws sqs get-queue-attributes и прочитать поле ответа ApproximateNumberOfMessages, чтобы получить количество элементов в очереди. Затем вы использовали бы это число, чтобы вычислить количество экземпляров и либо позвонить aws ec2 run-instances --count 4, либо остальным параметрам. Как только все будет сделано, вы прекратите экземпляры.

2. Другой способ сделать это - использовать автомасштабирование и аварийные сигналы. Вы можете настроить политику ScaleOut, которая добавляет 1 сервер к вашей группе AutoScaling и запускает эту политику с помощью предупреждения CloudWatch на SQS ApproximateNumberOfMessages> = некоторый порог. Этот вариант не дождался бы, когда утром обработает очереди, вы бы все время работали. Вы также можете иметь политику ScaleIn для уменьшения требуемой емкости (# серверов) в вашей группе AutoScaling, когда ApproximateNumberOfMessages < = некоторый порог.