hadoop-streaming

1зной

1ответ

Использование комбайнера в потоковом потоке с использованием mrjob (используя mrjob)

Когда меня научили о Mapreduce, одним из ключевых компонентов был объединитель. Это шаг между преобразователем и редуктором, который, по существу, запускает редуктор в конце фазы карты, чтобы уменьшит

0зной

1ответ

Hadoop MapReduce streaming - лучшие методы для обеспечения того, что я обработал все файлы журнала

Я разрабатываю задания Hadoop MapReduce, написанные на Perl, для обработки большого набора журналов в Hadoop. Новые файлы постоянно добавляются в каталог данных, и в каталоге 65 000 файлов. В настояще

0зной

1ответ

Каков максимальный размер, который тип данных текста может принимать в программе «Уменьшить карту»?

Чтобы выполнить слово Count Map Reduce, мы используем Text в качестве типа данных для параметра значения в Параметре ключевых значений. Каков максимальный размер, который может принять объект Text?

-1зной

1ответ

Hadoop mapreduce с использованием 2 картпера и 1 редуктора с использованием C++

Следуя инструкциям на this link, я реализовал программу wordcount в C++ с использованием единственного адаптера и одного редуктора. Теперь для этой же задачи мне нужно использовать два маппера и один

0зной

1ответ

Количество разделов и задач карты в hadoop

Я новичок в Map Сокращение программирования, я написал свой алгоритм в python, и мне нужно запустить экземпляры «n» для одной и той же программы (мой алгоритм) в наборе данных «n». Поскольку мой код н

0зной

2ответ

Как я могу указать идентификатор/номер задачи редуктора, с которым работает мой скрипт в потоке Hadoop?

Я хотел бы, чтобы результат моей задачи потокового редуктора отличался для номера раздела 0, чем для других разделов. Как я могу сказать из моего скрипта, что задача редуктора работает?