Как я могу добавить узлы EC2 и начать их собирать из пула совместной работы?

Question

Я новичок в AWS, но это стек, который мы используем, поэтому это необходимо для работы с AWS.

Я ничего не вижу в наборе инструментов AWS, который помогает мне раскручивать еще один узел EC2, а затем автоматически обрабатывать выделение кучи задач новому узлу.

Так, например, у меня может быть множество запросов на создание чисел Фибоначчи. Первоначально один JVM на одном узле EC2 мог запускать, красть партию чисел для обработки и обрабатывать их.

По мере увеличения нагрузки второй узел может запускаться, а его JVM украсть следующую партию чисел для обработки.

Примечание: ни один номер не должен обрабатываться более одного раза, в идеале. Нечетный обман не имеет значения, но нам нужно избегать конфликтов во всех партиях работы.

Я мог хранить задачи в RDS или, возможно, в DynamoDB. Затем мне нужно было бы отметить записи, зарезервированные конкретным узлом EC2 для обработки, и очистить их после завершения. Хуже того, мне пришлось бы иметь какую-то логику восстановления, если бы узел EC2 опустился и оставил некоторые записи, помеченные для обработки.

Я мог бы использовать что-то не-AWS-y, например Redis, и распространять данные в памяти через JVM. Мне по-прежнему нужно упорствовать в записи в какой-то момент, поскольку они должны быть долговечными, но это, по-видимому, будет более результативным.

Я думаю, что я считаю, что это должно быть очень распространенным требованием: иметь общее состояние и обрабатывать его с изменением количества узлов, что там должно быть решение.

Answer 1

Задачи, которые необходимо выполнить, должны быть опубликованы в очередь SQS. Затем приложение, выполняющее работу над каждым экземпляром, будет потребляться из очереди. Если вы запустите новый экземпляр EC2, он начнет потреблять из очереди. После успешного завершения задачи приложение может удалить его из очереди. Если задача не завершится успешно (экземпляр завершается или приложение неожиданно умирает), задача останется в очереди для следующего потребляющего приложения.

Обратите внимание, что SQS гарантирует, что сообщения будут доставлены «по крайней мере один раз» (https://aws.amazon.com/sqs/faqs/), поэтому ваше приложение должно иметь возможность обрабатывать повторяющиеся задачи соответствующим образом.

Кроме того, вы можете установить политики автомасштабирования в размере очереди SQS, чтобы потреблять все задачи в периоды максимальной нагрузки.