Как высвободить ресурсы на кластере AWS EMR?

Question

У меня есть общая проблема, когда я запускаю кластер AWS EMR и регистрируюсь через SSH, а затем запускаю spark-shell, чтобы протестировать некоторый код искры, а иногда я теряю свое интернет-соединение, а Putty выдает сообщение об ошибке, что соединение было потеряно.

Но, похоже, процессы, связанные с искрой, все еще работают. Когда я подключиться к серверу и запустить spark-shell снова, я получаю много этих ошибок:

17/02/07 11:15:50 WARN YarnSchedulerBackend$YarnSchedulerEndpoint: Container marked as failed: container_1486465722770_0002_01_000003 on host: ip-172-31-0-217.eu-west-1.compute.internal. Exit status: 1. Diagnostics: Exception from container-launch. 

погуглить эту ошибку предложил есть проблемы с выделенной памятью, но, как я использую небольшие узлы на тестовом кластере, Я даже не хочу выделять больше памяти, я просто хочу освободить ресурсы, используемые для перезапуска spark-shell, но я не вижу никаких запущенных процессов «Искра».

Как я могу исправить это легко? Есть ли какой-то другой процесс, который я должен попытаться закрыть/перезапустить, например, hadoop, mapred, пряжу и т. Д.? Я бы не хотел запускать новый кластер каждый раз, когда я это испытываю.

Answer 1

вы можете использовать пряжу API для этого .. После SSH-ИНГ мастера, запустить этот

yarn application -list 

, чтобы увидеть, если там работающие приложения. , если вы можете использовать эту команду, чтобы убить их:

yarn application -kill <application id> 

вы можете также использовать менеджер ресурсов веб-интерфейс для делать то же самое. (доступен в виде ссылки на верхней странице страницы EMR кластера).

BTW вы можете использовать Zeppelin для запуска того же материала, который вы запускаете на Spark-оболочке, не беспокоясь об отключении. Он доступен в EMR (вам нужно выбрать его как одно из приложений при настройке кластера).

Требуется некоторое время, чтобы узнать, как правильно использовать и настроить, но может вам помочь ..