mrjob

1зной

1ответ

Почему я получаю список аргументов [Errno 7] слишком долго и OSError: [Errno 24] Слишком много открытых файлов при использовании mrjob v0.4.4?

Кажется, что природа рамки MapReduce предназначена для работы со многими файлами. Поэтому, когда я получаю ошибки, которые говорят мне, что я использую слишком много файлов, я подозреваю, что я делаю

0зной

1ответ

Ошибка mrjob: DescribeJobFlows API устарел

Я использую mrjob в первый раз и пытаюсь запустить базовый код подсчета слов на EMR. Я последовал за каждым шагом в документе mrjob here, но все же получил ошибку. <ErrorResponse xmlns="http://elastic

0зной

1ответ

запустить mrjob на Amazon EMR, t2.micro не поддерживается

Я попытался запустить сценарий mrjob на Amazon EMR. Он работал хорошо, когда я использовал экземпляр c1.medium, однако у него была ошибка, когда я изменил instnace на t2.micro. Полное сообщение об оши

1зной

1ответ

socket.gaierror при попытке запустить emr с помощью python mrjob

В настоящее время я пытаюсь изучить mrjob и как его реализовать в AWS EMR, поэтому, пожалуйста, простите меня, если я задаю уже заданный вопрос [искал много мест, но не нашел ответа] и жаль, если это

1зной

1ответ

MRJob - Limit Количество задач Attemps

В MyJob, как вы ограничиваете количество попыток задачи (если задача не работает)? У меня есть длинные задачи (увеличено время ожидания, соответственно), но я хочу, чтобы задание закончилось после 2 н

1зной

1ответ

MrJob тратит много времени на копирование локальных файлов в HDFS

Проблемы Я сталкиваюсь это: Уже кладет input.txt (50MBytes) файл в HDFS, я бег python ./test.py hdfs:///user/myself/input.txt -r hadoop --hadoop-bin /usr/bin/hadoop Кажется, что MrJob тратит много в

0зной

1ответ

Файл MRJob и python - .csv для редуктора?

Я использую модуль MRJob для python 2.7. Я создал класс, который наследует от MRJob, и правильно отобразил все, используя унаследованную функцию mapper. Проблема, я хотел бы иметь выход функции редукт

1зной

1ответ

Amazon EMR + mrjob: bootstrap error, "bootstrap action 1 возвратил ненулевой код возврата"

Я пытаюсь запустить mrjob на EMR Amazon, используя экземпляры ec2. Он работал, пока не понял, что я использую пакеты python (mechanize, BeautifulSoup, boto). Итак, я добавил в мой файл mrjob.conf, но

2зной

2ответ

Использовать многоядерные ядра с LocalMRJobRunner для MRJob

Я использую рамки python yelp/mrjob для своих заданий mapreduce. Имеются только около 4 Гб данных, и я не хочу испытывать проблемы с настройкой Hadoop или EMR. У меня 64-ядерная машина, и для обработк