rdd

0зной

1ответ

value lookup не является членом org.apache.spark.rdd.RDD [(String, String)]

У меня возникла проблема, когда я устал компилировать свою программу scala с помощью SBT. Я импортирую класс, который мне нужен. Вот часть моего кода. import java.io.File import java.io.FileWriter i

0зной

2ответ

Как перенести первый элемент каждого элемента RDD [Double, Double] и создать с ним диагональную матрицу?

Я работаю на Спарк в Scala, и я хочу, чтобы преобразовать Array[(Double, Double)] = Array((0.9398785848878621,1.0), (0.25788885483788343,1.0), (0.6093264774118677,1.0), (0.19736451516248585,0.0), (0.9

1зной

1ответ

Упорядоченный союз по искровым разрядам

Я пытаюсь выполнить сортировку по ключевым парам записей, используя искру apache. Ключ имеет длину 10 байтов, а значение составляет около 90 байтов. Другими словами, я пытаюсь реплицировать сравнитель

2зной

1ответ

Присоединиться к DStream с динамическим набором данных

Я новичок в Spark Streaming. Мне нужно обогащать события, поступающие из потока, с данными из динамического набора данных. У меня проблема с созданием динамического набора данных. Этот набор данных до

0зной

1ответ

Spark: Группа RDD по id

У меня есть 2 RDD. В Spark scala, как мне присоединиться к event1001RDD и event2009RDD, если они имеют одинаковый идентификатор? вал event1001RDD: schemaRDD = [EventType, идентификатор, местоположение

0зной

2ответ

Spark Closures with Array

У меня есть массив, который работает, когда он находится внутри укупорочного средства (он имеет некоторые значения), но вне цикла размер массива равен 0. Я хочу знать, что заставляет поведение быть та

3зной

1ответ

Как я могу дополнительно уменьшить мой Apache размер Спарк задачи

Я пытаюсь запустить следующий код в Скале на рамках Спарк, но я получаю очень большой размер задачи (8MB) tidRDD:RDD[ItemSet] mh:MineHelper x:ItemSet broadcast_tid:Broadcast[Array[ItemSet]] count:

2зной

2ответ

Присоединяйтесь два (не) в пару РДА сделать DataFrame

Как название описывает, что у меня есть два РДА rdd1 = sc.parallelize([1,2,3]) rdd2 = sc.parallelize([1,0,0]) или rdd3 = sc.parallelize([("Id", 1),("Id", 2),("Id",3)]) rdd4 = sc.parallelize([("Res