Как мы выделяем различное количество редукторов гетерогенных кластеров?

Question

Наша система имеет кластер из 5 хостов (например, узел данных или ведомые компьютеры ...). Теперь я хочу выделить разное количество редукторов этих хостов, потому что 1 хост медленный. , Мы используем Hadoop Yarn. Менеджер ресурсов (так называемый Job tracker в MapReduce1) всегда выделяет равномерно количество редукторов до 5 хостов. В любом случае, я могу ограничить количество редукторов конкретного хоста? Например, я хочу, чтобы работа с 40 редукторами, 4 быстрыми компьютерами имела 36 редукторов (например, 9 редукторов на каждом хосте), у медленного компьютера всего 4 редуктора.

Answer 1

Вполне возможно и обычное явление иметь гетерогенные системы в кластере адуопов. Как правило, когда кластер продолжает увеличиваться и, следовательно, масштабируется горизонтально, новые узлы различных конфигураций становятся добавленными в кластер.

В таких сценариях, чтобы иметь конфигурации, применимые к определенному узлу или группе узлов, нам необходимо соответствующим образом изменить конфигурации на этих хостах.

Например, в случае платформы данных Hortonworks, где управление кластером осуществляется через Ambari, для этой цели можно использовать концепцию групп конфигурации хоста.

Пожалуйста, смотрите ссылку ниже для получения дополнительной информации:

https://docs.hortonworks.com/HDPDocuments/Ambari-2.1.1.0/bk_Ambari_Users_Guide/content/_using_host_config_groups.html

Также см ниже ссылку, где дискуссия об увеличении количества ПРЯЖИ контейнеров на уровне узла. Он остается таким же в вашем случае, а также, что является противоположностью прецеденте там обсуждаться:

How to increase the number of containers in nodemanager in YARN

Еще одна полезная ссылка:

http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/