Hadoop Рабочие редукторы параллельные

Question

У меня есть файл 4G с ~ 16 мельничными линиями, карты работают распределенными с 6 картами параллельно из 15 карт. Генерирует 35000 клавиш. Я использую MultipleTextoutput, поэтому каждый редуктор генерирует выходной сигнал независимо от другого редуктора.

Я сконфигурировал conf с 25-50 редукторами, но он всегда работает по 1 редуктору за раз.

машины - 4 ядра 32 G баран одна машина погонных Hortonworks стек

Как получить более 1 уменьшить задачу запуска параллельно?

Answer 1

С определяя нижний редуктор памяти 2 ГБ, по умолчанию в XML mapred-сайт был 6GB, структура приносит до 3 редукторов параллельно, а не 1.

Answer 2

Взгляните Hadoop MapReduce Tutorial

Сколько Сокращает?

Правильное количество уменьшений, по-видимому, составляет 0,95 или 1,75, умноженное на (*).

С 0.95 все сокращения могут запускаться немедленно и начать передачу выходов карты по мере завершения отображения. С 1.75 более быстрые узлы завершат первый раунд сокращений и запускают вторую волну сокращений, делая намного лучшую работу по балансировке нагрузки.

Посмотрите на смежные вопросы SE:

How hadoop decides how many nodes will do map and reduce tasks

What is Ideal number of reducers on Hadoop?