Доступ к Большим файлам, хранящимся в AWS s3 с использованием функций AWS Lambda

Question

У меня есть файл более 30 ГБ, хранящийся в s3, и я хочу написать функцию Lambda, которая будет обращаться к этому файлу, проанализировать его и затем запустить некоторый алгоритм на том же самом. Я не уверен, что моя лямбда-функция может взять этот большой файл и работать над ним, поскольку максимальное время выполнения для функции лямбда составляет 300 секунд (5 минут). Я нашел функцию AWS S3 относительно ускорения, но поможет ли она?

Учитывая, что сценарий, отличный от лямбда-функции, может предложить любой другой сервис для размещения моего кода в качестве микросервиса и разбора файла?

Заранее спасибо

Answer 1

Это полностью основано на требованиях обработки и частоты обработки.

Вы можете использовать Amazon EMR для анализа файла и запуска алгоритма, и на основе требования, которое вы можете прекратить кластер или сохранить его для частой обработки. https://aws.amazon.com/emr/getting-started/

Вы можете использовать сервис Amazon Athena (недавно запущенный), который поможет вам разобрать и обработать файлы, хранящиеся на S3. Амазонка будет заботиться об инфраструктуре. http://docs.aws.amazon.com/athena/latest/ug/getting-started.html

Для требований к потоку комплексной обработки вы можете использовать комбинации служб AWS, таких как AWS DataPipeline - для управления потоком и AWS EMR или EC2 - для выполнения задачи обработки. https://aws.amazon.com/datapipeline/

Надеется, что это помогает, спасибо