Получить вершину с наивысшей степенью большого графика в GraphX ​​

Question

В Spark GraphX ​​я использую graph.degrees.reduce((a,b) => if (a._2 > b._2) a else b), чтобы получить вершину наивысшей степени в графе LiveJournal [4 847 571 узел, 68 993 773 ребра].

Я пишу алгоритм для моего аналитического исследования по графику. Граф Живого Журнала, на котором я запускаю алгоритм, очень велик, моя машина навсегда выполняет этап сокращения! Поэтому мне было интересно, есть ли более эффективный и менее трудоемкий способ получить тот же результат линии выше.

Answer 1

На моем MacBook (8 ядер) требуется меньше минуты для запуска. Мне нужно было позволить 4G памяти драйвера работать в локальном режиме.

Я начинаю искровой скорлупу, как это:

bin/spark-shell --driver-memory 4g 

Затем выполните следующие действия:

import org.apache.spark.graphx._ 
val graph = GraphLoader.edgeListFile(sc, "soc-LiveJournal1.txt") 
val output = graph.degrees.reduce((a,b) => if (a._2 > b._2) a else b 

Выход выглядит следующим образом:

scala> output 
res0: (org.apache.spark.graphx.VertexId, Int) = (10009,22889) 

Примечание: это использование Спарк 1.6 .1