Потоки DynamoDB до S3

Question

Я использую Data Pipeline (DP) для ежедневного резервного копирования DynamoDB, однако я хотел бы сделать инкрементное резервное копирование данных, которые пропущены прогонами DP (обновления между прогонами DP). Для этого я хотел бы использовать DynamoDB Streams + Lambda + S3, чтобы обновлять DynamoDB в реальном времени до S3. Я понимаю, как работают потоки DynamoDB, однако я борюсь с созданием Lambda-функции, которая записывает на S3 и каждый раз скатывает файл.

Кто-нибудь попробовал?

Answer 1

Его час работа чувак, что вам нужно сделать, это

1. Включения Динамо DB потока обновления и прикрепляются AWS при условии функции лямбды https://github.com/awslabs/lambda-streams-to-firehose
2. Включить шланговой поток и использовать выше функции для потоковых аутов записи в пожарный шланг.
3. Настроить пожарный, чтобы сбросить записи на S3.

сделано.