Какие технологии AWS следует использовать для обработки легкого веса в реальном времени перед хранением данных в Redshift?

Question

Я хочу создать несколько точек HTTP, где мобильные клиенты, серверы & IoT устройства будут размещать данные. Мне может потребоваться предварительная обработка событий. & действует на них. В конце концов я хочу получить доступ ко всем необработанным данным & делать запросы с помощью Domo, Cloud Business Intelligence | Chartio или Tableau.

мне нужно понять, каковы различия & преимущества для следующих архитектур:

1. AWS API управления + Lambda + красных смещений: я могу создать HTTP конечную & лямбда-функцией, которая будет анализировать данные, вычислить & магазин в Redshift
2. Kinesis Firehose + Redshift (как я потоковой передачи данных по протоколу HTTP здесь?)
3. S3 + Kinesis + Redshift (я могу использовать HTTP конечную точку, которая записывает данные в S3)
4. S3 + Kinesis Firehose + Redshift
5. S3 + Lambda + Redshift

Я чувствую, 3, 4 & 5 создают избыточность из-S3. Будет ли выполнение функций лямбда значительными издержками для затрат при использовании Kinesis?

Answer 1

Путь к широкому вопросу, но в верхней части головы я бы сказал, что # 1 - лучший выбор, который вы предоставили.

Лично я хотел бы пойти в DynamoDB вместо того, чтобы получать данные от Lamba - тогда я бы либо запросил его прямо оттуда, либо использовал его в качестве источника для Redshift, если бы его использовали шаблоны использования.