Hadoop client.RMProxy: Подключение к ResourceManager

Question

Hadoop client.RMProxy: Подключение к ResourceManager

установки

I кластер с одним узлом на Linux: http://tecadmin.net/setup-hadoop-2-4-single-node-cluster-on-linux/

Когда я запускаю приложение MapReduce, как показано ниже: hadoop jar hadoop-mapreduce-examples-2.6.0.jar grep input output 'dfs[a-z.]+

I got the ff INFO: 
15/02/25 23:42:54 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 
15/02/25 23:42:56 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
15/02/25 23:42:59 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
15/02/25 23:43:02 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 

JPS:

5232 SecondaryNameNode 
6482 RunJar 
5878 NodeManager 
6521 Jps 
4905 NameNode 
5759 ResourceManager 
5023 DataNode 

Ho w для подключения к ResourceManager при настройке одноузлового кластера?

Я попытался добавить к yarn-site.xml, но не работал.

<property> 
<name>yarn.resourcemanager.address</name> 
<value>127.0.0.1:8032</value> 
</property> 
<property> 
<name>yarn.resourcemanager.scheduler.address</name> 
<value>127.0.0.1:8030</value> 
</property> 
<property> 
<name>yarn.resourcemanager.resource-tracker.address</name> 
<value>127.0.0.1:8031</value> 
</property> 

Благодаря

Answer 1

Просто помните один аспект о запущенных Hadoop. Даны три режима: автономный, псевдораспределенный и полностью распределенный.

Автономные и псевдораспределенные выполняются в одном узле. Фактически, они запускаются только на вашей машине. Это не нуждается в конфигурации вы показали: http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html

Априори, это все, что вам нужно для одного узла в пряжу-site.xml:

<configuration> 
<property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
</property> 

Но дальнейшие конфигурации также может использоваться. Моя пряжа сайт для режима псевдо-распределенных, как:

<configuration> 
<property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
</property> 
<property> 
    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name> 
    <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.resource-tracker.address</name> 
    <value>localhost:8025</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.scheduler.address</name> 
    <value>localhost:8030</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.address</name> 
    <value>localhost:8050</value> 
</property> 

Совет: убедитесь, что в IP вы набираете в файлах конфигов. Я предлагаю вам добавить этот IP-адрес на ваш etc/hosts и указать имя хоста. Таким образом, используйте имя хоста в файлах конфигурации.

Answer 2

Эта проблема может быть вызвана отсутствием HADOOP_CONF_DIR, который необходим приложению MapReduce для подключения к диспетчеру ресурсов, который указан в . Yarn-site.xml. Таким образом, перед запуском задания MapReduce попытайтесь установить/экспортировать HADOOP_CONF_DIR вручную с помощью соответствующего каталога Hadoop Conf, например export HADOOP_CONF_DIR =/etc/hadoop/conf. Этот способ работал для меня :)