reducers

1зной

2ответ

Являются ли Hadoop Mappers выполненными только локально?

У меня есть ситуации, когда целые блоки файловой лежат на одном факторе репликации машины и по умолчанию равны 1. В этом случае, если я начинаю Hadoop на моем кластере, я чувствую, что все мои задачи

java hadoop mapreduce mapper reducers 2013-09-25

---

0зной

1ответ

Как написать итерацию в Python с помощью mrjob mapper reducer, для которой счетчик является частью вычисления в цикле?

У меня есть программа, которая выполняет итератор и редуктор n раз подряд. Однако для каждой итерации картатор каждой пары ключей и значений вычисляет значение, которое зависит от n. from mrjob.job im

python mapper mrjob reducers 2013-09-28

---

0зной

1ответ

В MapReduce как остановить редуктор после обработки записей X

Я использую Mapper для загрузки большого количества данных, которые имеют время выполнения и большой запрос, связанный с ним .. Мне просто нужно найти 1000 самых дорогих запросов , поэтому я пишу врем

hadoop mapreduce mapper reducers 2013-06-24

---

2зной

1ответ

понимание пользовательских разметки в Hadoop

Я учусь концепции Разметка now.can любому объяснить мне ниже кусок code.It трудно для меня, чтобы понять public class TaggedJoiningPartitioner extends Partitioner<TaggedKey,Text> { @Override

hadoop mapreduce mapper hadoop-partitioning reducers 2013-08-21

---

0зной

2ответ

Разделитель или несколько выходов

Я хотел бы получить ваше мнение относительно Partitioner vs MultipleOutputs. Предположим, у меня есть файл, который содержит ключи как 0:aaa 1:bbb 0:ccc 0:ddd ... 1:zzz Я хотел иметь 2 файла: о

hadoop mapreduce hadoop-partitioning reducers partitioner 2013-11-30

---

1зной

1ответ

полный порядок разделитель в hadoop

Я совершенно не знаком с концепцией totalorderpartitioner, я применил эту концепцию, но im не удалось создать глобальную сортировку. это моя входная запись 676576 7489768576 689576857867857 6857685

hadoop mapreduce mapper reducers 2013-10-14

---

2зной

3ответ

Установка количества редукторов для приложения EMA Amazon

Я пытаюсь запустить пример wordcount в Amazon EMR. -1- Во-первых, создать кластер с помощью следующей команды: ./elastic-mapreduce --create --name "MyTest" --alive Это создает кластер с одним экземпля

hadoop amazon-emr reducers mappers 2013-09-02

---

3зной

2ответ

сохранение данных в формате JSON в HDFS в Hadoop

У меня есть следующий класс Reducer public static class TokenCounterReducer extends Reducer<Text, Text, Text, Text> { public void reduce(Text key, Iterable<Text> values, Context context) t

java json hadoop mapreduce reducers 2013-06-04

---