apache-spark-sql

1зной

1ответ

Как зарегистрировать UDF без аргументов в Apache Spark по Java

Мне нужно зарегистрировать функцию udf без аргументов. Но Apache Spark не реализует интерфейс UDF0. пытаюсь somethig как: UDF1<Object, String> my_func = o -> return "some_generated_string"; sqlContex

0зной

1ответ

Передача данных в реальном времени с использованием Apache Spark и kfaka

Я разрабатываю приложение для искрообразования с помощью Kafka. У меня есть несколько вопросов следующим образом: я потоковый данные из таблиц RDBMS в Кафка и используя искровую потребителя потреблять

1зной

1ответ

«новый HiveContext» хочет отобразить X11? com.trend.iwss.jscan?

Спарк 1.6.2 (мастер ПРЯЖА) Имя пакета: com.example.spark.Main Basic SparkSQL код val conf = new SparkConf() conf.setAppName("SparkSQL w/ Hive") val sc = new SparkContext(conf) val hiveContext = ne

1зной

1ответ

Spark Dataframe вычисление процентиля на массиве

Мне нужно вычислить, имеют кванты искры на числовом поле после группа по операции. Есть ли способ применить approxPercentile в сводном списке вместо столбца? E.g. Dataframe выглядит как k1 | k2 | k3 |

0зной

1ответ

искрового Java многопоточности против запуска отдельных искровых рабочих мест

Я новый с искрой и пытаясь понять разницу в производительности в ниже подходах (Спарк на Hadoop) Сценария: В соответствии с пакетной обработкой У меня есть 50 ульев запросов к run.Some может работать