spark-graphx

1зной

1ответ

Преобразование Iterable в РДУ в свече Graphx

У меня есть произведение GroupBy на вершинах графа val filteredNodesGroups = somegraph.vertices.groupBy{ case(_, attr) => { attr } } , и я хотел бы создать новый график

0зной

2ответ

подграф в цикле foreach в задачах искры и графа

Надеясь, что кто-то может помочь. Я пытаюсь написать программу, которая должна выполнять функцию на каждом знаке края, подключенном к каждому узлу в сети на графике. Для этого я хочу перебрать каждый

1зной

1ответ

Могу ли я изменить значение srcId и dstId для края в GraphX?

Есть ли способ изменить значение srcId и dstId ребра, потому что, когда я делаю что: val newGraph = graph.mapEdges( e => if(//a condition here) { e.srcId*0 + //a value e.dstId

2зной

1ответ

Есть ли конструктор Spark GraphX с функцией слияния для повторяющихся вершин

У меня есть график со множеством повторяющихся вершин, но с разными атрибутами (Long). val vertices: RDD[(VertexId, Long)] ... val edges: RDD[Edge[Long]] ... val graph = Graph(vertices

0зной

1ответ

Комбинация SpqrkSQL и GraphX

Можете ли вы создать хранимую процедуру в SparkSQL и вызвать GraphX API? что-то вроде этого: registerFunction("storedProcedureGraphX", model.storedProcedureGraphX _) select * from someTable where st

4зной

2ответ

Хранение графика в Spark Graphx с HDFS

Я построил график в GraphX Spark. Этот график будет иметь потенциально 1 миллиард узлов и более 10 миллиардов краев, поэтому я не хочу, чтобы строить этот график снова и снова. Я хочу иметь возможно

4зной

2ответ

Как создать VertexId в Apache Spark GraphX с использованием длинного типа данных?

Я пытаюсь создать график, используя некоторые данные Google Web Graph, который можно найти здесь: https://snap.stanford.edu/data/web-Google.html import org.apache.spark._ import org.apache.spark.grap