mrjob NoFIleFound Exception with cloudera cdh 5 cluster

Question

Я получаю эту ошибку при попытке запустить пример mrjob в кластере hadoop. Я установил мой hadoop_home, и я также могу создать новый каталог в файловой системе hdfs. Я могу запустить python map-reduce, если я использую потоки хаопов. Только с mrjob я получаю эту проблему.

Когда я запускаю эту команду:

python mr_word_freq_count.py -r hadoop --hadoop-bin /usr/bin/hadoop -o hdfs:///user/zkdmkrq/out1 hdfs:///user/zkdmkrq/input1 

я получаю:

no configs found; falling back on auto-configuration no configs found; 
falling back on auto-configuration creating tmp directory 
/tmp/mr_word_freq_count.zkdmkrq.20150226.172000.917957 writing wrapper 
script to 
/tmp/mr_word_freq_count.zkdmkrq.20150226.172000.917957/setup-wrapper.sh 
STDERR: mkdir: 
`hdfs:///user/zkdmkrq/tmp/mrjob/mr_word_freq_count.zkdmkrq.20150226.172000.917957/files/': 
No such file or directory Traceback (most recent call last): File 
"mr_word_freq_count.py", line 37, in <module> 
    MRWordFreqCount.run() File "/usr/lib/python2.6/site-packages/mrjob/job.py", line 494, in run 
    mr_job.execute() File "/usr/lib/python2.6/site-packages/mrjob/job.py", line 512, in execute 
    super(MRJob, self).execute() File "/usr/lib/python2.6/site-packages/mrjob/launch.py", line 147, in 
execute 
    self.run_job() File "/usr/lib/python2.6/site-packages/mrjob/launch.py", line 208, in 
run_job 
    runner.run() File "/usr/lib/python2.6/site-packages/mrjob/runner.py", line 458, in run 
    self._run() File "/usr/lib/python2.6/site-packages/mrjob/hadoop.py", line 238, in _run 
    self._upload_local_files_to_hdfs() File "/usr/lib/python2.6/site-packages/mrjob/hadoop.py", line 265, in 
_upload_local_files_to_hdfs 
    self._mkdir_on_hdfs(self._upload_mgr.prefix) File "/usr/lib/python2.6/site-packages/mrjob/hadoop.py", line 273, in 
_mkdir_on_hdfs 
    self.invoke_hadoop(['fs', '-mkdir', path]) File "/usr/lib/python2.6/site-packages/mrjob/fs/hadoop.py", line 109, in 
invoke_hadoop 
    raise CalledProcessError(proc.returncode, args) subprocess.CalledProcessError: Command '['/usr/bin/hadoop', 'fs', 
'-mkdir', 
'hdfs:///user/zkdmkrq/tmp/mrjob/mr_word_freq_count.zkdmkrq.20150226.172000.917957/files/']' 
returned non-zero exit status 1 

Answer 1

Я действительно нашел решение этой проблемы. Мне пришлось изменить файл mrjob/hadoop.py. Вот точному решение

https://github.com/Yelp/mrjob/issues/850

Надеется, что это помогает любому, кто сталкивается с этой проблемой.