ПРЯЖА ResourceManager не подключается к nodemanager

Question

заранее спасибо за любую помощь

Я бегу следующие версии:

Hadoop 2.2 3.4.5 зоопарка Hbase 0,96 Улей 0,12

Когда я иду to http: //: 50070 Я могу правильно видеть, что работают 2 узла.

Проблема в том, когда я перехожу к http: //: 8088, она показывает 0 узлов.

Я понимаю, что: 8088 отражает диспетчер ресурсов и показывает количество запущенных узлов. Все демона начинаются, но похоже, что нодманеранты не подключаются к диспетчеру ресурсов.

Это файл журнала:

2013-12-16 20:55:48,648 INFO org.apache.hadoop.yarn.client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8031 
2013-12-16 20:55:49,755 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:50,756 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:51,757 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:52,758 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:53,759 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
2013-12-16 20:55:54,760 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 

Я проверил и порт 8031 ​​открыт.

EDIT:

Для людей, просматривающих это в будущем, мне нужно, чтобы изменить свою пряжу-site.xml, чтобы выглядеть следующим образом:

<property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
</property> 
<property> 
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
    <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.scheduler.address</name> 
    <value>master-1:8030</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.address</name> 
    <value>master-1:8032</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.webapp.address</name> 
    <value>master-1:8088</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.resource-tracker.address</name> 
    <value>master-1:8031</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.admin.address</name> 
    <value>master-1:8033</value> 
</property> 

Answer 1

Вам необходимо указать

имя хоста: порт

Да, он должен быть установлен на всех кивок es, а не только узел ResourceManager (вы будете хорошо копировать один и тот же атрибут hadoop для всех ваших узлов). Если вам нужны некоторые минимальные рабочие конфиги для начала, посмотрите здесь: toster.ru/q/57046#answer_208326

Answer 2

Команда rsync или scp могут быть использованы для копирования файлов конфигурации от главного узла к подчиненным узлам:

for host in $HADOOP_CONF_DIR/slaves; do 
    rsync -rv $HADOOP_CONF_DIR/* $host:$HADOOP_CONF_DIR/ 
done 

Примечание, здесь я предполагаю, что все узлы имеют одинаковый макет каталога хаопов.

Answer 3

У меня была очень похожая проблема, и она была решена, указав ResourceManager имя хоста, не нужно указывать точный адрес для службы.

<property> 
    <name>yarn.resourcemanager.hostname</name> 
    <value>master-1</value> 
</property> 

Answer 4

У меня также была такая же проблема, но в моем случае только управление узлом было указано в диспетчере ресурсов. Я разместил ниже свойство в файле yarn-site.xml, и я мог видеть узлы, перечисленные в RM.

<property> 
    <name>yarn.resourcemanager.hostname</name> 
    <value><master-1></value> 
</property> 

Answer 5

1. проверка ПРЯЖА HA включена или нет?
2. В случае, если он включен, то для каждого из управляющих ресурсов, указанных в пряжи site.xml yarn.resourcemanager.ha.rm идентификаторами (например RM1, RM2) запуска службы ResourceManager.

Answer 6

У меня возникла проблема с очень похожими симптомами, хотя это был nodemanager, не связанный с менеджером ресурсов. Проблема заключалась в том, что в файле yarn-site.xml есть (или может быть) свойство с именем «yarn.nodemanager.hostname». Этот параметр был случайно заполнен именем хоста HDFS «namenode», но он должен содержать имя хоста для узла NARNAME для узла. В зависимости от того, что было введено для других свойств, это вызывало различные ошибки, такие как «Повторное подключение», «Соединение отказалось» или ошибки распределения ресурсов. Установка этого параметра на «0.0.0.0» (по умолчанию) устранила проблему.