reducers

0зной

1ответ

Hadoop Работа застрял на карте 0% уменьшить 0%

Я запускаю работу hadoop, которая застревает на карте «0% уменьшить 0%». Более конкретно, все пользователи находятся в состоянии «STARTING» и никогда, похоже, не начинают их выполнять. Я пробовал смот

0зной

2ответ

Задайте количество задач карты

При настройке задания «Уменьшить работу с картой» я знаю, что можно задать количество задач сокращения с помощью метода job.setNumReduceTasks(2);. Можно ли задать количество задач карты? Я не вижу ник

0зной

1ответ

Пользовательский разделитель, не устанавливая количество редукторов

Должен ли мы устанавливать количество редукторов для использования пользовательского разделителя? Пример: проблема с Word Count, хотите, чтобы все стоп-слова подсчитывались в одном разделе, а оставшие

0зной

2ответ

тот же ключ, входящий в разные редукторы в hadoop

Я испытываю что-то очень странное. Я получаю тот же ключ в разных редукторах. Я только что напечатал и собрал ключ и ценности. Мой код редуктора выглядит так. public void reduce(Text key, Iterator<Tex

0зной

2ответ

Как я могу указать идентификатор/номер задачи редуктора, с которым работает мой скрипт в потоке Hadoop?

Я хотел бы, чтобы результат моей задачи потокового редуктора отличался для номера раздела 0, чем для других разделов. Как я могу сказать из моего скрипта, что задача редуктора работает?

2зной

1ответ

Были преобразователи в библиотеке редукторов в Clojure 1.5 все вместе?

я услышал замечание, сделанное сегодня: "были там Tranducers все вместе, они пришли с reducers in 1.5" Действительно - Richs-х Anatomy of a Reducer blog entry, имеет замечательное сходство с logic use

1зной

1ответ

Установка количества редукторов в задании MapReduce, которое находится в рабочем процессе Oozie

У меня есть кластер из пяти узлов, в котором содержатся DataNodes и TaskTrackers. Я импортировал около 10 миллионов строк из Oracle через Sqoop и обрабатывал его через MapReduce в рабочем процессе Ooz