apache-spark-sql

1зной

1ответ

Spark Как RDD [JSONObject] в набор данных

Я читаю данные из RDD элемента типа com.google.gson.JsonObject. Попытка конвертировать это в DataSet, но не знаю, как это сделать. import com.google.gson.{JsonParser} import org.apache.hadoop.io.Long

0зной

2ответ

Spark Dataframe/Dataset: общая условная суммарная сумма

У меня есть dataframe, который имеет несколько атрибутов (от C1 до C2), смещение (в днях) и несколько значений (V1, V2). val inputDF= spark.sparkContext.parallelize(Seq((1,2,30, 100, -1),(1,2,30, 100,

1зной

2ответ

Преобразование световых данных в формат org.apache.spark.rdd.RDD [org.apache.spark.mllib.linalg.Vector]

Я очень новичок в scala и spark 2.1. Я пытаюсь вычислить корреляцию между многими элементами в кадре данных, который выглядит следующим образом: item_1 | item_2 | item_3 | item_4 1 | 1 | 4 | 3

8зной

1ответ

Ошибка SQL с ошибкой с java.lang.NoClassDefFoundError: org/codehaus/commons/compiler/UncheckedCompileException

Запуск программы Spark SQL (v2.1.0_2.11) в Java немедленно завершается с последующим исключением, как только первое действие называется на dataframe: java.lang.ClassNotFoundException: org.codehaus.com

1зной

1ответ

Как написать Spark UDAF, который просто делает сборку строк?

Привет, для моего конкретного требования, я хочу написать UDAF, которые просто собирают все входные строки. Входные данные представляют собой строки из двух столбцов, Double Type; Промежуточные схемы,

2зной

1ответ

О том, как добавить новый столбец в существующий DataFrame со случайными значениями в Scala

У меня есть dataframe с паркетным файлом, и мне нужно добавить новый столбец с некоторыми случайными данными, но мне нужны эти случайные данные друг для друга. Это мой фактический код и текущая версия

1зной

2ответ

Spark Job для вставки данных в Cassandra

Я пытаюсь записать данные в таблицы Cassandra, используя Spark на Scala. Иногда задача искры прерывается между ними и есть частичная запись. Отскакивает ли Spark частичная запись при первом запуске но

0зной

1ответ

использование искра SQL UDF в dataframe API

Как я могу использовать UDF, который отлично работает в искре, как sparkSession.sql("select * from chicago where st_contains(st_makeBBOX(0.0, 0.0, 90.0, 90.0), geom)").show взят из из http://www.geo