Hadoop Уменьшить ошибку

Я продолжаю получать Превышение MAX_FAILED_UNIQUE_FETCHES; на этапе сокращения, хотя я пробовал все решения, которые я мог найти в Интернете. Пожалуйста, помогите мне, у меня есть презентация проекта за три часа, и мое решение не масштабируется.Hadoop Уменьшить ошибку

У меня есть один мастер, который NameNode и JobTracker (172.16.8.3) и 3 рабочие (172.16.8. {11, 12, 13})

Вот соответствующие конфигурационные файлы (не могу сделать строительство на шоу):

 

//////// 172.16.8.3 //////////////////// 

// core-site.xml 

    
     hadoop.tmp.dir 
     /usr/local/hadoop-datastore/hadoop-${user.name} 
     Hadoop Data Store 
    

    
     fs.default.name 
     hdfs://172.16.8.3:54310/ 
    


// mapred-site.xml 


    
     mapred.job.tracker 
     172.16.8.3:54311 
    




//////// 172.16.8.11 //////////////// 

// core-site.xml 

    
     hadoop.tmp.dir 
     /usr/local/hadoop-datastore/hadoop-${user.name} 
     Hadoop Data Store 
    

    
     fs.default.name 
     hdfs://172.16.8.3:54310/ 
    


// mapred-site.xml 


    
     mapred.job.tracker 
     172.16.8.3:54311 
    


/////// 172.16.8.12 ////////////// 
// core-site.xml 
<configuration> 
    
     hadoop.tmp.dir 
     /usr/local/hadoop-datastore/hadoop-${user.name} 
     Hadoop Data Store 
    

    
     fs.default.name 
     hdfs://172.16.8.3:54310/ 
    
</configuration> 

// mapred-site.xml 

    
     mapred.job.tracker 
     172.16.8.3:54311 
    


///////// 172.16.8.13 //////// 
// core-site.xml 

    
     hadoop.tmp.dir 
     /usr/local/hadoop-datastore/hadoop-${user.name} 
     Hadoop Data Store 
    

    
     fs.default.name 
     hdfs://172.16.8.3:54310/ 
    



// mapred-site.xml 

    
     mapred.job.tracker 
     172.16.8.3:54311

источник

2010-07-13 Marius

Я не хочу смеяться, но, как правило, вы делаете его работу, а затем даете ему презентацию ... – bwawok

ну, он работает над кластер с одним узлом, и теоретически он должен работать на произвольном количестве машин, но этого не происходит – Marius

, и время было выбрано моим советником :( – Marius

Это link, кажется, указывает, что это может быть проблема конфигурации сети.

Редукторы не могут извлечь карты (из-за неудачных попыток), что может быть связано с проблемой сети/конфигурации, которая не позволяет им запрашивать сервер Jetty.

Отказ от ответственности: Я не использовал Hadoop профессионально

источник

2010-07-13 02:15:15 Syntax

Я уже проверил все сети, и, похоже, это не так. Я также проверил проблему, когда у вас закончились файловые дескрипторы. И я до сих пор не могу передать эту ошибку. ПОЖАЛУЙСТА, ПОМОГИТЕ! представить мою диссертацию менее чем за три часа. – Marius

Я только что обнаружил, что запуск w пример примера в кластере с более чем одним входным файлом дает ту же ошибку. Какая связь? – Marius

Сколько узлов в вашем кластере? Возможно ли, что каким-то образом вы регистрируете дополнительный узел и когда отправляется более одного файла, второй присваивается дополнительному узлу? Пример wordcount указывает мне, что строки передаются Mappers; Есть ли несколько строк в каждом текстовом файле? Что означает, что содержимое одного файла будет распространено для обработки через несколько хостов? – Syntax

я встретил эту ошибку также: причиненный: java.io.IOException: Превышен MAX_FAILED_UNIQUE_FETCHES; выручая.

Исправление для меня заключается в использовании имен хостов вместо ip-адресов на core-site.xml и mapred-site.xml. Вам нужно будет отредактировать файл хостов и включить мастера и подчиненные

источник

2011-01-25 03:28:41 Jonar

ответ

Смежные вопросы