Используйте AWS лямбда для чтения Kinesis и сэкономьте до S3

Question

Я очень новичок в AWS. Теперь я могу отправлять данные csv в потоки кинезий, используя aws .net sdk. Теперь я должен сохранить эти данные в S3, используя lambda, используя S3 Emitter (это самый распространенный способ, который я нашел на многих веб-сайтах). Когда я создаю для этого функцию Лямбды. Он запрашивает код Node.js или java8. Я не понимаю отсюда, какой код нужно загружать, как использовать код эмиттера S3. Я не могу использовать Kinesis Firehose, потому что потоковые данные собираются в EMR для обработки. Пожалуйста, помогите мне здесь. Если есть альтернативный способ, пожалуйста, предложите.

Answer 1

Вам необходимо написать код, который будет получать события из потока кинезий и записать его на S3 (или даже проще Kinesis Firehose). Этот код должен находиться на одном из языков программирования, которые в настоящее время поддерживаются в Lambda (JavaScript, Java, Python). Вот учебник для чтения Kinesis: http://docs.aws.amazon.com/lambda/latest/dg/with-kinesis-example.html

Это сравнительно легко читать события и партия их к S3 или даже проще написать их шланговой, чтобы получить более оптимизированные партии в S3 (больше, сжаты, зашифрованы ...).