rdd

0зной

1ответ

Спарк combineByKey на значениях, которые содержат кортежи

Так что у меня искры RDD, который содержит значение следующего вида RDD[(Key:Int, (val1:Double, val2:Double))] Для примера (1,(1,1)) (1,(1,2)) (1,(1,3)) (1,(1,4)) (1,(1,5)) (2,(1,1)) (2,(1,2))

1зной

2ответ

Преобразование световых данных в формат org.apache.spark.rdd.RDD [org.apache.spark.mllib.linalg.Vector]

Я очень новичок в scala и spark 2.1. Я пытаюсь вычислить корреляцию между многими элементами в кадре данных, который выглядит следующим образом: item_1 | item_2 | item_3 | item_4 1 | 1 | 4 | 3

0зной

2ответ

Что противоположно Союзу в Pyspark

Это похоже на такой тривиальный вопрос, но я не могу найти ответ нигде! У меня есть два RDD, один с векторизованной статьей и другой с кучей стоп-слов. Мой первый инстинкт состоял в том, чтобы использ

1зной

1ответ

Искры, некоторые операции выполняются до того, как определено действие?

У меня есть следующий искровой простой пример: #1 val lines: RDD[String] = sc.textFile("/data/non_existing_file.txt") #2 val words: RDD[String] = lines.flatMap(line => line.split(" ")) #3 val pairs:

0зной

1ответ

Do Спарк tranformation и действия задачи работают на одной и той же сериализованном копии кода

Предположим, у меня есть следующие: rdd.mapPartition (Func). Когда это выполняется исполняемыми задачами внутри исполнителя, они получают только одну сериализованную копию функции или каждая задача по

2зной

1ответ

Агрегация Spark Dataset, аналогичная агрегату RDD (ноль) (накопитель, сумматор)

RDDRDD имеет очень полезную совокупность методов, которая позволяет накапливать нулевое значение и комбинировать его между разделами. Есть ли способ сделать это с помощью Dataset[T]. Насколько я вижу

1зной

1ответ

Группа элементов в списке

У меня есть список (в Scala). val seqRDD = sc.parallelize(Seq(("a","b"),("b","c"),("c","a"),("d","b"),("e","c"),("f","b"),("g","a"),("h","g"),("i","e"),("j","m"),("k","b"),("l","m"),("m","j"))) Я гр

1зной

1ответ

сервер истории искры не показывает RDD, даже если он сохраняется

Я запускаю искровую оболочку в искробезопасной версии 2.0.2. Вот моя программа, var myrdd = sc.parallelize(Array.range(1, 10)) myrdd.setName("test") myrdd.cache myrdd.collect Но я до сих пор не в

0зной

1ответ

Как преобразовать JavaPairRDD в Dataset?

SparkSession.createDataset() разрешает только List, RDD, or Seq - но он не поддерживает JavaPairRDD. Так что, если у меня есть JavaPairRDD<String, User>, что я хочу, чтобы создать Dataset из, будет жи