IOException: невозможно инициализировать кластер | hadoop 2.4.0

Question

Я пытаюсь запустить Map-reduce с использованием hadoop 2.4.0 Мой код имеет некоторые зависимости от сторонних баннеров, поэтому я создал банку FAT с использованием опции eclipse export-> runnable Jar.

Теперь, когда я запускаю банку FAT, используя

 hadoop jar ~/Documents/job.jar 

Я получаю исключение

 java.lang.reflect.InvocationTargetException 

выше исключение вызвано следующим образом:

Caused by: java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses. 
at org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:120) 
at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:82) 
at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:75) 
at org.apache.hadoop.mapreduce.Job$9.run(Job.java:1255) 
at org.apache.hadoop.mapreduce.Job$9.run(Job.java:1251) 
at java.security.AccessController.doPrivileged(Native Method) 
at javax.security.auth.Subject.doAs(Subject.java:415) 
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548) 
at org.apache.hadoop.mapreduce.Job.connect(Job.java:1250) 
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1279) 
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1303) 
at imgProc.MasterClass.main(MasterClass.java:84) 
... 10 more 

Hadoop пути CLASSPATH

hduser@livingstream:/usr/local/hadoop$ hadoop classpath 
/usr/local/hadoop-2.4.0/etc/hadoop:/usr/local/hadoop-`2.4.0/share/hadoop/common/lib/*:/usr/local/hadoop-2.4.0/share/hadoop/common/*:/usr/local/hadoop-2.4.0/share/hadoop/hdfs:/usr/local/hadoop-2.4.0/share/hadoop/hdfs/lib/*:/usr/local/hadoop-2.4.0/share/hadoop/hdfs/*:/usr/local/hadoop-2.4.0/share/hadoop/yarn/lib/*:/usr/local/hadoop-2.4.0/share/hadoop/yarn/*:/usr/local/hadoop-2.4.0/share/hadoop/mapreduce/lib/*:/usr/local/hadoop-2.4.0/share/hadoop/mapreduce/*:/usr/local/hadoop/contrib/capacity-scheduler/*.jar` 

Мои файлы конфигурации

mapred-site.xml

<configuration> 

    <property> 
     <name>mapreduce.framework.name</name> 
     <value>yarn</value> 
    </property> 


</configuration> 

ядро-site.xml

<configuration> 

<property> 
    <name>fs.default.name</name> 
    <value>hdfs://localhost:54310</value> 
</property> 
<property> 
    <name>hadoop.tmp.dir</name> 
    <value>/usr/local/hadoop/data</value> 
</property> 



</configuration> 

пряжи site.xml

<configuration> 

<!-- Site specific YARN configuration properties --> 
    <property> 
     <name>yarn.nodemanager.aux-services</name> 
     <value>mapreduce_shuffle</value> 
    </property> 
    <property> 
     <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name> 
     <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
    </property> 
    <property> 
     <name>yarn.resourcemanager.resource-tracker.address</name> 
     <value>localhost:8025</value> 
    </property> 
    <property> 
     <name>yarn.resourcemanager.scheduler.address</name> 
     <value>localhost:8030</value> 
    </property> 
    <property> 
     <name>yarn.resourcemanager.address</name> 
     <value>localhost:8050</value> 
    </property> 
</configuration> 

Я не совсем уверен, что происходит сейчас, это из-за JAR или моих конфигурационных файлов. У кого-нибудь есть anyidea, что-то ценится! :)

Answer 1

Сообщение об ошибке Клири заявляет, что

Caused by: java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses. 

Вы должны настроить mapred-site.xml and core-site.xml и многие другие конфигурации, вы должны сделать ..
Для шаг за шагом, вы смотрите эту ссылку Hadoop V2 setup

Надеюсь, это поможет вам.