Является ли Kinesis правильным инструментом для моих нужд? (& другие сортированные вопросы)

Question

Мне нужно обработать на пике 100 с записей в секунду. Эти записи являются простыми органами JSON, и их следует собирать, а затем обрабатывать/преобразовывать в базу данных.

Несколько вопросов ...

1) Является ли Kinesis право на это? Или SQS лучше подходит?

2) При использовании кинези я хочу использовать примеры python, как показано здесь: https://aws.amazon.com/blogs/big-data/snakes-in-the-stream-feeding-and-eating-amazon-kinesis-streams-with-python/ или мне следует внедрить моего производителя и потребителя в KCL? Какая разница?

3) Предоставляет ли Kinesis что-либо руководству потребителей, или я просто запускаю их на экземплярах EC2 и самостоятельно управляю ими?

4) Какая правильная модель для доступа к данным - я не могу позволить пропустить какие-либо записи, поэтому я предполагаю, что я буду получать записи из «TRIM_HORIZON», а не «ПОСЛЕДНИЕ». Если да, как мне управлять дубликатами? Другими словами, как мои потребители получают записи из потока и обрабатывают потребителей, и т. Д., И всегда знают, что они извлекают все записи?

Спасибо!

Answer 1

1. Kinesis более полезен для потоковой передачи данных или когда требуется строгий порядок между сообщениями. С другой стороны, вы используете дело, похоже, больше похоже на буферное решение между двумя службами. Поэтому я предпочел бы SQS Кинезису. SQS также дешевле и проще в работе и легко справляется с требуемым масштабом.
2. В примере, который вы использовали, используются низкоуровневые API-интерфейсы Kinesis. Тем не менее, вам следует использовать KPL и KCL для реализации ваших производителей и потребителей соответственно, поскольку они обеспечивают более совершенные конструкции, которые проще в использовании.
3. Вы можете запускать как производителей, так и потребителей Kinesis и SQS на EC2 или по телефону . В последнем, AWS позаботится о вашем аппаратном управлении.
4. Да, вы должны пойти с TRIM_HORIZON. Если в ваших данных есть дубликаты, ваши потребители должны заботиться о них, делая самостоятельную бухгалтерскую отчетность. Что касается потребителей, которые ездят и т. Д., KCL обрабатывает эти случаи изящно.