mrjob

2зной

1ответ

обработка LZO последовательности файлов с mrjob

я пишу задачу с mrjob для вычисления различных статистических данных, используя данные Google Ngrams: https://aws.amazon.com/datasets/8172056142375670 Я разработал & проверил мой скрипт локально, испо

python hadoop lzo mrjob 2013-09-18

---

0зной

2ответ

Как файлы данных должны быть включены в mrjob в EMR?

Я пытаюсь запустить mrjob на EMR Amazon. Я тестировал работу локально, используя встроенный бегун, но он не работает при работе на Amazon. Я сузил неудачу до моей зависимости от внешнего файла данных

python mapreduce amazon-emr emr mrjob 2013-09-24

---

0зной

1ответ

Почему основной оператор программы mrjob Python принимает только одну строку кода?

Я хочу знать, как долго работает программа mrjob. Однако, я получаю ошибку unindent does not match any outer indentation level, если я положил time.time() до и после MRWord.run(), и я не мог найти док

python indentation mrjob 2013-09-24

---

0зной

1ответ

mrJob python mapReduce word_count.py

Я только что начал использовать mrJob (mapReduce для python) и новичок в парадигме MapReduce, я хотел бы узнать следующее о учебнике word_count.py, который присутствует на сайте документации MRJob. До

python mapreduce mapper word-count mrjob 2013-11-14

---

0зной

1ответ

Как написать итерацию в Python с помощью mrjob mapper reducer, для которой счетчик является частью вычисления в цикле?

У меня есть программа, которая выполняет итератор и редуктор n раз подряд. Однако для каждой итерации картатор каждой пары ключей и значений вычисляет значение, которое зависит от n. from mrjob.job im

python mapper mrjob reducers 2013-09-28

---

1зной

1ответ

Map-Reduce/Hadoop сортировать по целочисленному значению (используя MRJob)

Это реализация MRJob простой функции сортировки Map-Reduce. В beta.py: from mrjob.job import MRJob class Beta(MRJob): def mapper(self, _, line): """ """ l = line.split(' ')

python sorting hadoop mapreduce mrjob 2013-11-23

---

2зной

2ответ

не удалось использовать mapreduce в python

Я пытаюсь изучить программу mapreduce, используя python mrjob. Я получаю следующее сообщение об ошибке: Traceback: dumping stdin to local file /tmp/pyes_mrjob.testuser.20131004.103251.998597/STDIN Ma

python-2.7 mapreduce hadoop-streaming mrjob 2013-10-04

---

0зной

1ответ

Как создать бегун?

я следующий простой mrjob скрипт, который читает большую строку файла по линии, выполняет операцию на каждой строке и выводит результат: #!/usr/bin/env python from mrjob.jo

python hadoop mrjob 2013-08-27

---