как итерации при вычислении pagerank с mapreduce

Question

У меня есть вопросы, когда я пытаюсь реализовать PageRank с mapreduce. Я хочу привести здесь коды https://stackoverflow.com/a/5029780/1117436, чтобы описать проблему.

map ((url,PR), out_links) //PR = random at start 
for link in out_links 
    emit(link, ((PR/size(out_links)), url)) 

reduce(url, List[(weight, url)): 
    PR =0 
    for v in weights 
    PR = PR + v 
    Set urls = all urls from list 

emit((url, PR), urls) 

В описанном выше способе, это ясно, что второй параметр ввода процедуры отображения является Out ссылки на URL, но второй параметр выхода уменьшить процедуру, как представляется, что в звеньях URL. Итак, как эти коды работают итеративно?

Тогда я хочу спросить, как написать коды, чтобы заставить pagerank alrorithm работать правильно?

ОБНОВЛЕНИЕ: Я думаю, что этот ответ решает мою проблему. https://stackoverflow.com/a/13568286/1117436

Answer 1

Существует уже несколько схем обработки графа.

Посмотрите на Apache Giraph который может использоваться для обработки графа. Giraph основан на MR. GoldenOrb находится на очень ранней стадии. Кроме того, взгляните на Apache Hama, который представляет собой реализацию BSP, у этого есть свой собственный вычислительный движок и он не основан на MR, но использует HDFS для хранения. Hama также может быть used для обработки графа.

Answer 2

Вы можете реализовать итеративные алгоритмы с использованием MapReduce, но это может быть не лучший и более эффективный способ (потому что вы перемещаете материал на HDFS/диск на каждую итерацию).

Сказав, что, если вы заинтересованы в поиске, как можно было бы реализовать что-то вроде PageRank с помощью MapReduce, посмотрите здесь:

• https://github.com/castagna/mr-pagerank/

Start от метода запуска() в PageRank.java

Если вы заинтересованы, вы можете посмотреть на кучу старых (т.е. 2009) скользит здесь:

• https://github.com/castagna/mr-pagerank/blob/master/docs/pagerank-huguk-2009.pdf

Теперь вы можете иметь гораздо больше удовольствия при реализующей/запущенном PageRank с клоном Преголя, такие как Apache Giraph, как Praveen уже предложил вам.