rdd

0зной

2ответ

Как вставить элемент в массив rdd в искровом

Привет Я попытался вставить элемент в массив rdd [String], используя scala в искры. Вот пример. val data = RDD[Array[String]] = Array(Array(1,2,3), Array(1,2,3,4), Array(1,2)). Я хочу сделать длину

4зной

1ответ

Демпинг spark word2vec векторы в файл

Я использую искру mllib для генерации векторов слов. Я хочу поместить все свои данные, а затем получить обученные словарные векторы и выгрузить их в файл. Я делаю это: JavaRDD<List<String>> data = jav

2зной

1ответ

java.io.NotSerializableException: org.apache.spark.InterruptibleIterator При выполнении mapPartition() в искровом java

Я пытаюсь выполнить простую преобразование преобразования Spark RDD mapPartition() на данные образца. но в процессе, я получаю исключение java.io.NotSerializableException: org.apache.spark.Interruptib

0зной

2ответ

Hashmap Over Большой набор данных, дающий OutOfMemory в искры

У меня есть требование обновления hashmap. В работе Spark у меня есть JavaPairRDD, и в этой оболочке имеется 9 разных хэш-карт. Каждый хэш-файл имеет ключ около 40-50 ключей cr. При слиянии двух карт

0зной

2ответ

Имя файла в spark scala, показывающее неправильный результат

Я использую ниже код, чтобы получить имя файла в Apache Spark, но когда я добавляю его в RDD[string], я получаю различное значение. Ниже мой код: import org.apache.spark.rdd.RDD val text: RDD[String