h2o начиная с YARN не работает

Question

Когда я запускаю H2o на кластере cdh, я получаю следующую ошибку. Я загрузил все, что он сделал, и последовал за учебником. Команда, которой я бежал, была

hadoop jar h2odriver.jar -nodes 2 -mapperXmx 1g -output hdfsOutputDirName 

Это показывает, что контейнеры не используются. Непонятно, какие настройки у них будут на hadoop. Я дал все настройки памяти. Это 0.0 для памяти, которая не имеет смысла, и почему контейнеры не используют память. Сейчас кластер работает?

----- YARN cluster metrics ----- 
Number of YARN worker nodes: 3 

----- Nodes ----- 
Node: http://data-node-3:8042 Rack: /default, RUNNING, 1 containers used, 1.0/6.0 GB used, 1/4 vcores used 
Node: http://data-node-1:8042 Rack: /default, RUNNING, 0 containers used, 0.0/6.0 GB used, 0/4 vcores used 
Node: http://data-node-2:8042 Rack: /default, RUNNING, 0 containers used, 0.0/6.0 GB used, 0/4 vcores used 

----- Queues ----- 
Queue name:   root.default 
    Queue state:  RUNNING 
    Current capacity: 0.00 
    Capacity:   0.00 
    Maximum capacity: -1.00 
    Application count: 0 

Queue 'root.default' approximate utilization: 0.0/0.0 GB used, 0/0 vcores used 

---------------------------------------------------------------------- 

WARNING: Job memory request (2.2 GB) exceeds queue available memory capacity (0.0 GB) 
WARNING: Job virtual cores request (2) exceeds queue available virtual cores capacity (0) 

---------------------------------------------------------------------- 

For YARN users, logs command is 'yarn logs -applicationId application_1462681033282_0008' 

Answer 1

Я сделал следующие изменения в конфигурации пряжи Cloudera Manager

Setting          Value 
yarn.scheduler.maximum-allocation-vcores 8 
yarn.nodemanager.resource.cpu-vcores  4 
yarn.nodemanager.resource.cpu-vcores  4 
yarn.scheduler.maximum-allocation-mb  16 GB 

Answer 2

Вы должны настроить свою очередь по умолчанию на наличие доступных ресурсов для запуска кластера 2nodes.

Смотрите предупреждения:

1. WARNING: Job memory request (2.2 GB) exceeds queue available memory capacity (0.0 GB)

   • вы спрашиваете 1 Гб для каждого узла (+ накладные), но нет доступных ресурсов в очереди ПРЯЖИ

2. WARNING: Job virtual cores request (2) exceeds queue available virtual cores capacity (0)

   • вы просите 2 виртуальных ядер, но не ядра не доступны в очереди по умолчанию

Пожалуйста, проверьте ПРЯЖУ документацию - например, настройку мощности планировщика и максимальные имеющиеся ресурсы: https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html