H2o Количество исполнителей, не работающих

Question

Я запускаю сверкающую оболочку с помощью следующей команды.

./bin/sparkling-shell --num-исполнители 4 4g --executor-памяти --master пряжи клиент

я только когда-либо получить два исполнителей. Является ли это проблемой H2o, проблемой YARN или проблемой Spark?

Майк

Answer 1

я над проблемой путем изменения следующих четырех значений в менеджере Cloudera

Setting         Value 
yarn.scheduler.maximum-allocation-vcores 8 
yarn.nodemanager.resource.cpu-vcores  4 
yarn.nodemanager.resource.cpu-vcores  4 
yarn.scheduler.maximum-allocation-mb  16 GB 

Answer 2

Там может быть несколько причин для такого поведения.

YARN может предоставить вам только количество исполнителей на основе имеющихся ресурсов (память, приставки). Если вы попросите больше, то у вас есть ресурсы, это даст вам максимум, что может.

Это может быть также случай, когда включено динамическое распределение. Это означает, что Spark создаст новых исполнителей, когда они понадобятся.

Чтобы решить некоторые проблемы в Sparkling Water, нам нужно найти всех доступных исполнителей в начале приложения, создав искусственные вычисления и попытаться использовать весь кластер. Это может привести к меньшему количеству исполнителей.

Я бы предложил посмотреть на https://github.com/h2oai/sparkling-water/blob/master/doc/tutorials/backends.rst, где вы можете прочитать больше о параграфе, приведенном выше, и о том, как его можно решить, используя так называемую внешнюю бленду.

Вы также можете посмотреть здесь https://github.com/h2oai/sparkling-water/blob/master/doc/configuration/internal_backend_tuning.rst. Это Sparkling Water guide для настройки конфигурации.

Kuba