mapreduce

0зной

1ответ

Почему я не могу ссылаться на ключ в логике сокращения?

Я хочу иметь логику в моем combineByKey/reduceByKey/foldByKey, который полагается на ключ, который в настоящее время работает. Из того, что я могу сказать по сигнатурам метода, единственными параметра

1зной

1ответ

MapReduce java.lang.ArrayIndexOutOfBoundsException: 0

Я пытаюсь запустить mapreduce в java, но получаю эту ошибку. Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException: 0 at com.mapreduce.WordCount.run(WordCount.java:23) at org

0зной

1ответ

Ошибка «Не удается найти символ» в Hadoop WordCount Пример

Я пытаюсь работать с этим примером Hadoop MapReduce Word Count, приведенным в книге Data Analytics с Hadoop, который заставил меня настроить псевдораспределенную среду Hadoop. Итак, теперь я пытаюсь з

0зной

1ответ

Странное поведение функции reduceByKeyAndWindow в Spark

Я использую искру 1.6 и наткнулся на эту функцию reduceByKeyAndWindow, которую я использую, чтобы выполнять подсчет слов по данным, переданным по теме kafka. Ниже приведен список альтернатив, который

0зной

1ответ

Как карта знает, что это ключ

0зной

3ответ

Где хранятся данные после Map/Combine и до уменьшения сцены в Hadoop MapReduce?

В Spark мы можем хранить данные в памяти всякий раз, когда захотим, но мне было интересно, где хранятся данные между этапами Map и Reduce в Hadoop MapReduce. Сохраняется ли она в HDFS, диске или RAM?

2зной

1ответ

Как правильно выполнить полное Outer Соединение двух RDD с PySpark?

Я ищу способ объединить два RDD по ключу. Дано: x = sc.parallelize([('_guid_YWKnKkcrg_Ej0icb07bhd-mXPjw-FcPi764RRhVrOxE=', 'FR', '75001'), ('_guid_XblBPCaB8qx9SK3D4HuAZwO-1cuBPc1GgfgNUC2PYm4='