apache-spark-dataset

1зной

1ответ

Spark CompileException в dataset.groupByKey()

Я пытаюсь использовать Spark для извлечения префиксов zip-кода, а сгенерированный Spark код не может скомпилироваться из-за попытки инициализировать java.lang.Double с org.apache.spark. unsafe.types.U

0зной

1ответ

Спарк Несоответствие типа: не может конвертировать из DataFrame в Dataset <Row>

Я получаю странные ошибки, говоря Type mismatch: cannot convert from DataFrame to Dataset<Row> Когда я пытаюсь выполнить пример кода из here. Это линия, которая дает мне ошибку. Dataset<Row> verDF =

1зной

1ответ

Spark dataset custom partitioner

Не могли бы вы помочь мне найти Java API для перераспределения sales dataset для N паттернов равного размера? В равном размере я имею в виду равное количество строк. Dataset<Row> sales = sparkSession.

0зной

1ответ

Итераторы с DataSet в Spark 2.0

Как перебирать DataSet в Spark 2.0 и scala? Моя проблема - мне нужно сравнить две строки. Мне нужно сравнить DateN и DateN-1 и рассчитать разницу. Row1 - Date1 Num1 Row2 - Date2 Num2 .. RowN- DateN

-1зной

1ответ

Ошибка производительности Apache Spark

Мы думали об использовании Apache Spark для более быстрого сопоставления записей, но мы находим это крайне неэффективным, чем сопоставление SQL с использованием оператора select. Использование, JavaSp

0зной

2ответ

Spark Dataframe/Dataset: общая условная суммарная сумма

У меня есть dataframe, который имеет несколько атрибутов (от C1 до C2), смещение (в днях) и несколько значений (V1, V2). val inputDF= spark.sparkContext.parallelize(Seq((1,2,30, 100, -1),(1,2,30, 100,

2зной

1ответ

Агрегация Spark Dataset, аналогичная агрегату RDD (ноль) (накопитель, сумматор)

RDDRDD имеет очень полезную совокупность методов, которая позволяет накапливать нулевое значение и комбинировать его между разделами. Есть ли способ сделать это с помощью Dataset[T]. Насколько я вижу

4зной

2ответ

Как преобразовать данные набора Spark Row в строку?

Я написал код для доступа к таблице Hive, используя SparkSQL. Вот код: SparkSession spark = SparkSession .builder() .appName("Java Spark Hive Example") .master("local[*]") .con

0зной

1ответ

Как преобразовать JavaPairRDD в Dataset?

SparkSession.createDataset() разрешает только List, RDD, or Seq - но он не поддерживает JavaPairRDD. Так что, если у меня есть JavaPairRDD<String, User>, что я хочу, чтобы создать Dataset из, будет жи

-1зной

1ответ

Должен ли я явно использовать методы Dataframe, чтобы воспользоваться оптимизацией Dataset?

Чтобы воспользоваться преимуществами оптимизаций Dataset «s, у меня явно использовать Dataframe's метод (например, df.select(col("name"), col("age") и т.д.) или позвонив по телефону любых методов набо