mrjob

0зной

2ответ

Я пробовал использовать пример wordcount с использованием mrjob. Моя структура проекта: ├── input_text.txt ├── store_xml_dir │ ├── xml_file.xml │ └── xml_parse.py └── wordcount.py и содержан

0зной

1ответ

mrjob bad --steps error using make_runner на кластере Hadoop

Я пытаюсь выполнить простой пример wordcount программно, но я не могу заставить код работать с кластером hadoop. Работа в test_job.py: from mrjob.job import MRJob import re WORD_RE = re.compile(r"

0зной

1ответ

MRJob не запускает новые задания на EMR при использовании -pool-emr-jobs-потоков

Я использую MRJob для запуска итеративной программы наложения на EMR Amazon. Все работает нормально (но медленно), когда я не использую опцию «--pool-emr-job-flow». Когда я использую эту опцию, Traceb

2зной

1ответ

mapper_pre_filter в MRJob

Я пытаюсь tweek mapper_pre_filter приведенный пример here. Теперь, если вместо того, чтобы указать команду непосредственно в шагах, если я пишу метод возвращает эту команду, как это: from mrjob.job im

0зной

1ответ

Как запускать несколько задач mrjob с различными параметрами

У меня есть такая работа: from mrjob.job import MRJob from mrjob.step import MRStep import urllib import re import httpagentparser UA_STRING = re.compile(MYSUPERCOMPLEXREGEX) class MRReferralA

1зной

1ответ

С MapReduce гарантировано, что ВСЕ значения с одним и тем же ключом перейдут к одному и тому же редуктору?

У меня есть проект MapReduce, над которым я работаю (в частности, я использую Python и библиотеку MrJob и планирую запуск с использованием EMR Amazon). Ниже приведен пример, чтобы подвести итог пробле

4зной

1ответ

Как конкретно определить ввод для каждого шага карты в MRJob?

Я работаю над сокращением задания на карту, состоящим из нескольких шагов. Используя mrjob, каждый шаг получает предыдущий шаг вывода. Проблема в том, что я этого не хочу. Я хочу извлечь некоторую инф