elastic-map-reduce

3зной

1ответ

Как добавить свойство mapreduce.reduce.memory.mb в EMR Cluster в шаблон Cloud Formation?

Я изучил, как изменить значения по умолчанию, которые EMR предоставляет кластеру в зависимости от типа машины. В моем случае это довольно простая настройка m4.large как основного и c3.2xlarge как ядро

0зной

1ответ

AWS EMR-кластер завершается, пока мастер не работает

В настоящее время, когда мастер кластера EMR остановлен (поведение при выключении: остановка вместо прекращения), мы теряем кластер, поскольку EMR был заархивирован с учетом того, что мастер остановле

0зной

1ответ

Какие параметры конфигурации YARN перечитываются в каждом приложении?

У меня есть одна работа, которая намного больше, чем другие 50 или около того, которые работают в моем ежедневном рабочем процессе. Я хотел бы, чтобы свойство yarn.app.mapreduce.am.resource.mb было бо

1зной

1ответ

Могу ли я заставить YARN использовать главный узел для контейнера Application Master?

Мое большое аппаратное оборудование главного узла практически ничего не делает во время моих запусков Hadoop/Spark, потому что YARN использует произвольный подчиненный узел для своего AM для каждой за

0зной

1ответ

Hadoop process WARC файлы

У меня есть общий вопрос о разделении файлов Hadoop и нескольких картографах. Я новичок в Hadoop и пытаюсь понять, как настроить оптимальную производительность. В настоящее время мой проект обрабатыва

0зной

1ответ

Как высвободить ресурсы на кластере AWS EMR?

У меня есть общая проблема, когда я запускаю кластер AWS EMR и регистрируюсь через SSH, а затем запускаю spark-shell, чтобы протестировать некоторый код искры, а иногда я теряю свое интернет-соединени

0зной

1ответ

Исключение запроса на сбор кустов - Ошибка при компиляции оператора: FAILED: ArrayIndexOutOfBoundsException null

Я только что обновил версию hive до версии 2.1.0 как для hive-exec, так и для hive-jdbc. Но из-за этого некоторые запросы начались с того, что ранее работала нормально. Исключение - Exception in threa