PageRankBenchmark - Снизить на 0% - Giraph например

Question

Я тестирования мои установки одного узла кластера Giraph используя пример PageRankBenchmark, следующим образом:

$HADOOP_HOME/bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/giraph-examples-1.1.0-for-hadoop-2.4.0-jar-with-dependencies.jar org.apache.giraph.benchmark.PageRankBenchmark -v -V 1000 -e 1 -s 5 -w 1 

Но на десерт картостроители завершить свою работу, редуктора не start (карта на 100% уменьшает 0%, в зависимости от консоли). Это подходящее поведение для этого алгоритма?

Если карпер выполнен, редуктор должен начать принимать вывод карты как входной сигнал и завершить работу (по крайней мере, во множестве других реализаций алгоритма PageRank в Интернете всегда есть «Редуктор» «). Но я google это, и всегда пример PageRankBenchmark giraph заканчивается с Уменьшением на 0% в нескольких результатах этого алгоритма, которыми управляют другие люди.

Так что, я не сейчас, если это нормально, что в PageRankBenchmark, и я надеюсь, что кто-то может помочь мне здесь;)

Я использую Hadoop 2.4 с профилем Phadoop_yarn и Giraph 1,1 +0,0.

В соответствии с несколькими другими вопросами, которые я читаю, основной проблемой для проблемы «Уменьшить 0% застряли», вероятно, это в журнале картографов, но я ничего там не нахожу (я тоже их прикрепляю).

Вот мои журналы:

• Main Console Log.
• First Mapper
• Second Mapper

Ура!

Answer 1

Giraph следующая парадигма только для карт. Другими словами, каждый рабочий связан с задачей карты. все вычисления выполняются только в одной задаче карты, а связь между задачами карты для отправки/получения сообщений выполняется с помощью zookeeper. Таким образом, это отличается от традиционной парадигмы программирования карт, которая отображает выходные данные, передаваемые редукторам. Поэтому задача сокращения и отсутствие вывода карты также не существует.