apache-spark-dataset

3зной

1ответ

преимущество производительности DataSet над РДОМ

После прочтения несколько больших статей (this, this и this) о DataSets искры, я заканчивая выигрышем в производительности следующего набора данных через РД: оптимизацию Логического и физический план;

4зной

1ответ

Spark 2.0 неявный кодер, обрабатывать отсутствующий столбец, когда type - опция [Seq [String]] (scala)

У меня возникают некоторые проблемы с кодированием данных, когда некоторые столбцы типа Option [Seq [String]] отсутствуют в наш источник данных. В идеале я хотел бы, чтобы отсутствующие данные столбца

4зной

1ответ

Пользовательские источники данных Spark с примитивными байтовыми массивами - избегайте бокса?

Я работаю над настраиваемым источником данных Spark и хочу, чтобы схема включала строку типа примитивного байтового массива. Моя проблема заключается в том, что байты в результирующем массиве байтов п

1зной

2ответ

Ошибка в подключении базы данных оракула к искры apache с использованием java

Ниже приведен код, который я использую для подключения к локальной базе данных оракула из программы apache spark java, но я становлюсь ниже ошибки. Exception in thread "main" java.lang.NoClassDefFound

4зной

1ответ

Спарк исключение 2 Dataset Нулевое значение

Получение этой нулевой ошибки в искре Dataset.filter Input CSV: name,age,stat abc,22,m xyz,,s Работа Код: case class Person(name: String, age: Long, stat: String) val peopleDS = spark.read.optio

1зной

1ответ

Спарк Сохранить DataSet partitionby Файл уже существует Ошибка

У меня есть набор данных, который был построен следующим образом: Encoder<MyDomain> encoder= Encoders.bean(MyDomain.class); Dataset<MyDomain> stdDS = sc.createDataset(filteredRecords.rdd(), encoder);

0зной

1ответ

Проблема с меткой времени Java в Scala - java.lang.IllegalArgumentException Получена ошибка

Добрый вечер. Я выполняю сравнительную работу по работе с RDD, Dataframes и наборами данных в Spark 2.1.0 (используя встроенную Scala 2.11.8). Я загрузил некоторые свободно доступные данные из https:/

1зной

3ответ

Использование stat.bloomFilter в Spark 2.0.0 для фильтрации другого фрейма данных

У меня есть два больших dataframes [a], у которых есть все события, идентифицированные id [b] списком идентификаторов. Я хочу фильтровать [a] на основе идентификаторов в [b], используя реализацию stat