mrjob

2зной

1ответ

Предоставление местоположения обхода Comomn в качестве входных данных для Amazon EMR с использованием mrjob python

Прошло всего несколько дней с тех пор, как я начал использовать mrjob, и я попытался выполнить некоторые задачи низкого и среднего уровня. Теперь я застрял в предоставлении общего обхода [now onwards

2зной

1ответ

Ошибка при установке mrjob на Mac (OS X 10.11.1)

Typing в Терминале pip install mrjob выдает сообщение об ошибке: "NameError: имя 'ExecFile' не определено" и "Command" питон setup.py egg_info "не удалось с кодом ошибки 1 в/частный ..." Использование

1зной

1ответ

Регулярные выражения в питоне карте уменьшающие: Счетные слова с «N» и акцентированные гласные

Я использую регулярное выражение для того, чтобы манипулировать с ударением гласные и «N» в испанских текстах следующим образом: WORD_REGEXP = re.compile(r"[a-zA-Záéíóúñ]+") Несмотря на то, он отлич

1зной

1ответ

Прочитайте несколько файлов HDFS или S3-файлов с помощью mrjob?

У меня есть большой объем данных, хранящихся в системе HDFS (или, альтернативно, в Amazon S3). Я хочу обработать его с помощью mrjob. К сожалению, при запуске mrjob и дате имя файла HDFS или имя содер

0зной

1ответ

Объяснения этого примера MRJob

from mrjob.job import job class KittyJob(MRJob): OUTPUT_PROTOCOL = JSONValueProtocol def mapper_cmd(self): return "grep kitty" def reducer(self, key, values): yield No

2зной

1ответ

«Счетчики с шага 1: нет счетчиков найдено» с использованием Hadoop и mrjob

У меня есть файл python для подсчета bigrams с использованием mrjob up на Hadoop (версия 2.6.0), но я не получаю вывод, который я надеюсь и у меня возникли проблемы с расшифровкой вывода в моем термин

1зной

2ответ

hasoop python job on snappy files производит 0 размер вывода

Когда я запускаю wordcount.py (python mrjob http://mrjob.readthedocs.org/en/latest/guides/quickstart.html#writing-your-first-job), используя потоки hadoop в текстовом файле, он дает мне вывод, но когд