Запустить действие в скрипте начальной загрузки после запуска ResourceManager

Question

Я запускаю кластер AWS EMR, используя инструменты amazon aws cli. У меня есть действие boostrap, который работает на ведущем и запускает следующую команду

hdfs dfs -put /home/hadoop/X.tar.gz/

Однако я получаю следующую ошибку

put: Call From X.internal/X1 to X.internal:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused 

Однако после того, как кластер вверх (эта ошибка не вызывает запуск для отказа), я могу успешно выполнить вышеуказанную команду.

Как я могу запускать команды hdfs в сценарии начальной загрузки?

Answer 1

Запустить его как шаг, а не действие. См. Пример здесь: http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-hadoop-script.html