apache-spark

0зной

1ответ

Быстрая синхронизация данных с таблицей DB от csv

У меня есть ночной процесс, который длится около 18 часов. Суть операции заключается в том, что опробованная служба опроса опрошена, данные затем применяются к моей собственной базе данных - не как 1

2зной

1ответ

искры dataframe reducebykey как операции

У меня есть искра dataframe со следующими данными (я использую искровой CSV для загрузки данных в): key,value 1,10 2,12 3,0 1,20 есть что-либо подобное, чтобы зажечь RDD reduceByKey, который мож

-1зной

1ответ

класс XORShiftRandom в пакете случайный не может быть доступен в пакете org.apache.spark.util.random

Я пытаюсь использовать XORShiftRandom из Spark для генерации случайных чисел. Код очень прост: 1 import org.apache.spark._ 2 import org.apache.spark.util.random.XORShiftRandom 3 4 objec

0зной

1ответ

Итеративный поиск по карте

def description(list:Array[String]): Array[String] = { for (y <- list) yield modulelookup.lookup(take(4)) + " " + brandlookup.lookup(y.drop(4)).toString() } val printRDD = outputRDD.collect().

2зной

1ответ

Как сделать искровой Streaming DStream в виде таблицы SQL

Цель здесь заключается в следующем: чтения данных из сокета, используя искру Streaming каждые N секунд регистр полученные данные в виде таблицы SQL будет больше данных, считываемых с HDFS и т. Д. В ка

0зной

1ответ

Как сгладить JavaPairDStream <string, ArrayList <string>> в JavaDStream <string> в java spark streaming

spark-streaming: У меня есть промежуточный результат в виде JavaPairDStream и вы хотите преобразовать в JavaDStream, где вывод должен иметь сглаженные значения Arraylist. input example : [1,{2,3,4},6,

1зной

1ответ

Spark Streaming + kafka «JobGenerator» java.lang.NoSuchMethodError

Я новичок в искрообразовании и кафке, и я не понимаю этого исключения во время выполнения. Я уже установил сервер kafka. Exception in thread "JobGenerator" java.lang.NoSuchMethodError: org.apache.spar