emr

2зной

2ответ

EMR-4.2.0 Пользовательская ошибка Jar Ошибка

Я запускаю скрипт установки sqoop в версии AWS-EMR-4.2.0, затем this documentation. После создания кластера (на шагах) я представил сценарий sqoop в качестве аргументов и s3: //elasticmapreduce/libs/s

0зной

1ответ

Как распаковать файлы с s3 и сохранить их на s3

У меня есть некоторые .zip-файлы в bucket на S3. Мне нужно разархивировать и сохранить его обратно в ведро без локальной файловой системы. Я знаю, что S3 - это статическое хранилище, но я могу разархи

1зной

2ответ

Как работает скрипт с использованием aws emr script-runner, отличный от запуска из bash?

Я использовал скрипт-бегун на aws emr, и учитывая, что он может выглядеть очень простым (и, возможно, упрямым) вопросом, но я прочитал много документов и никаких ответов, почему нам нужен бегун сценар

0зной

1ответ

Как остановить кластер EMR без его завершения?

Я знаю, что можно остановить отдельные экземпляры EC2, но как насчет кластера EMR? Если я остановлю все экземпляры EC2, содержащие кластер EMR, мне все равно будет выставлен счет?

0зной

1ответ

Как запустить выполнение AWS EMR JAR (шаг) при обновлении или изменении данных S3 на постоянном (ожидающем) кластере? Наилучшая практика или общий подход

Ищите лучшую практику или общий подход. AWS EMR-кластер является постоянным, а шаг JAR завершается (пример рекомендации Mahout). Когда входной файл в S3 получает обновленные данные, необходимо немедле

7зной

1ответ

Получить конфигурацию пряжи из командной строки

В EMR существует ли способ получить конкретное значение конфигурации, заданное ключом конфигурации, с помощью команды yarn? Например, я хотел бы сделать что-то вроде этого yarn get-config yarn.schedul