Как сделать Hadoop/EMR больше контейнеров на узел

Question

Я сейчас перемещаю наше приложение с Hadoop 1.0.3 до 2.7 на EMR v5.1.0. Я запустил его, но у меня все еще возникают проблемы с тем, что я получаю голову от системы распределения ресурсов в Пряжа. При настройках по умолчанию, предоставляемых EMR, Hadoop выделяет только один контейнер на узел, даже если я выбираю более крупный тип экземпляра для узлов. Это проблема, так как теперь мы будем использовать вдвое больше узлов для выполнения такого же объема работы.

Я хочу сжать больше контейнеров в один узел, и убедитесь, что мы используем все доступные ресурсы. Я предполагаю, что я не должен касаться yarn.nodemanager.resource.memory-mb или yarn.nodemanager.resource.cpu-vcores, так как они задаются с помощью EMR, чтобы отражать фактические доступные ресурсы. Какие настройки мне нужно изменить?

Answer 1

Размеры вашего контейнера определяются путем установки памяти (критерии по умолчанию для контейнера) и векторов. Следующие могут быть сконфигурированы:

1. пряжи scheduler.minimum-распределения-MB
2. пряжи scheduler.maximum-распределение-Мб

3. пряжи scheduler.increment Перераспределение-MB

4. пряжи scheduler.minimum-распределение-vcores

5. пряжи scheduler.maximum-распределение-vcores
6. пряжа-scheduler.increment-распределение-vcores

Все следующие критерии должны быть satified (они за контейнер, для yarn.nodemanager.resource.cpu-vcores и yarn.nodemanager.resource.memory-МБ, которые за NodeManager, следовательно, за исключением DataNode):

< 1 = пряжи scheduler.minimum-распределение-vcores < = пряжа-scheduler.maximum-распределение-vcores

пряжи scheduler.maximum-распределение-vcores < = yarn.nodemanager.resource.cpu-vcores

yarn-scheduler.in Приращение-распределение-vcores = 1

< = +1024 пряжи scheduler.minimum-распределение-MB = < пряжи scheduler.maximum-распределение-Мб

пряжи scheduler.maximum-распределение-Мб < = пряжи .nodemanager.resource.memory мб

пряжи scheduler.increment-распределение-МБ = 512

Вы также можете увидеть эту информацию полезной ссылку https://www.cloudera.com/documentation/enterprise/5-4-x/topics/cdh_ig_yarn_tuning.html