Как получить файлы с amazon emr?

Question

Приложение Apache Spark принимает различные входные файлы и сохраняет результаты и журналы в других файлах. Входные файлы предоставляются вместе с приложением, которое должно работать в облаке Amazon (EMR представляется предпочтительным для EC2).

Теперь я знаю, что я должен создать uber-jar, содержащий мои входные файлы и приложение, которое обращается к ним. Однако как я могу получить сгенерированные файлы из облака после завершения выполнения?

В качестве дополнительной информации файлы создаются и записываются с использованием относительных путей из кода.

Answer 1

Предполагая, что вы хотите получить доступ к выходному сигналу, созданному приложением Spark вне кластера, обычно нужно записать его на S3. Тогда вы, конечно, можете читать данные непосредственно с S3 вне кластера EMR.