Ошибка Hadoop Mapreduce на EC2 - вызов с master/ip на master: 9000 не удалось выполнить

Question

, поэтому я установил простой кластер с двумя узлами на частном AWC VPC. Поэтому я использую частный IP и DNS вместо публичного IP, который они дают вам AWS.

У меня работает HDFS, и я могу использовать файловую систему для создания и перемещения файлов/каталогов. Но когда я пытаюсь запустить простую работу MapReduce, такие как WordCount, я получаю следующее сообщение об ошибке:

Call From master/10.205.232.248 to master:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused 
java.net.ConnectException: Call From master/10.205.232.248 to master:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused 

Мои/и т.д./хостов выглядеть следующим образом:

10.205.232.248 <master_hostname> ip-10-205-232-248 master 
10.205.232.249 <slave_hostname> ip-10-205-232-249 slave 
127.0.0.1 localhost.localdomain localhost 
127.0.0.1 localhost4.localdomain4 localhost4 

Мой ядро-site.xml:

<property> 
<name>fs.defaultFS</name> 
<value>hdfs://master:9000</value> 
</property> 

Мой mapred-site.xml:

 <property> 
       <name>mapreduce.framework.name</name> 
       <value>yarn</value> 
     </property> 
     <property> 
       <name>mapred.job.tracker</name> 
       <value>10.205.232.248:9001</value> 
     </property> 

Моя пряжа site.xml:

 <property> 
       <name>yarn.nodemanager.aux-services</name> 
       <value>mapreduce_shuffle</value> 
     </property> 
     <property> 
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
       <value>org.apache.hadoop.mapred.ShuffleHander</value> 
     </property> 

Какие настройки конфигурации я игнорировать эту ошибку соединения? Спасибо!

Answer 1

Проверьте брандмауэр в машинах и открыты порты в группах безопасности AWS (входящих и исходящих)