AWS Elastic MapReduce, кажется, не будет правильно преобразовывать потоковое в банку

Question

У меня есть картографа и редуктор, которые работают хорошо, когда я запускаю их в централизованному версии:

cat data.csv | ./mapper.py | sort -k1,1 | ./reducer.py 

Я использовал эластичный мастер mapreducer, загруженные входы, выходы, бутстрап и т. д. Бутстрап успешно, но я все еще получаю ошибку при выполнении.

Это ошибка, я получаю в моем STDERR на шаге 1 ...

+ /etc/init.d/hadoop-state-pusher-control stop 
+ PID_FILE=/mnt/var/run/hadoop-state-pusher/hadoop-state-pusher.pid 
+ LOG_FILE=/mnt/var/log/hadoop-state-pusher/hadoop-state-pusher.out 
+ SVC_FILE=/mnt/var/lib/hadoop-state-pusher/run-hadoop-state-pusher 
+ case $1 in 
+ stop 
+ echo 0 
/etc/init.d/hadoop-state-pusher-control: line 35: /mnt/var/lib/hadoop-state-pusher/run-hadoop-state-pusher: No such file or directory 
+ /etc/init.d/hadoop-state-pusher-control start 
+ PID_FILE=/mnt/var/run/hadoop-state-pusher/hadoop-state-pusher.pid 
+ LOG_FILE=/mnt/var/log/hadoop-state-pusher/hadoop-state-pusher.out 
+ SVC_FILE=/mnt/var/lib/hadoop-state-pusher/run-hadoop-state-pusher 
+ case $1 in 
+ start 
++ dirname /mnt/var/lib/hadoop-state-pusher/run-hadoop-state-pusher 
+ sudo -u hadoop mkdir -p /mnt/var/lib/hadoop-state-pusher 
+ echo 1 
++ dirname /mnt/var/run/hadoop-state-pusher/hadoop-state-pusher.pid 
+ sudo -u hadoop mkdir -p /mnt/var/run/hadoop-state-pusher 
++ dirname /mnt/var/log/hadoop-state-pusher/hadoop-state-pusher.out 
+ sudo -u hadoop mkdir -p /mnt/var/log/hadoop-state-pusher 
+ disown %1 
+ sleep 5 
+ sudo -u hadoop /usr/bin/hadoop-state-pusher -server --pidfile /mnt/var/run/hadoop-state-pusher/hadoop-state-pusher.pid 
+ exit 0 
Command exiting with ret '0' 

Это загадочное. Что это значит?

У вас возникли проблемы с монтажом чего-то? Какой из других файлов журналов может сказать что-то информативное, где я должен искать?

Я попробовал решение, которое я нашел here, просто сделав экземпляр более крупным, но это не сработало, то же сообщение об ошибке.

Answer 1

Я искал неправильный файл журнала. Существует другое (было похожее 6?), Что на самом деле дало мне полезную информацию отладки python. Оказалось, что я использовал string interpolation.format("of this kind {}, not this kind with a digit {1}".vars(a,b)), который был не поддерживается в python < 2.7, который был установлен по умолчанию на изображении EC2, используемом в эластичном mapreduce.