parquet

1зной

2ответ

SPARK DataFrame: Как эффективно разделить dataframe для каждой группы, основанной на той же колонке значения

У меня есть DataFrame генерироваться следующим образом: df.groupBy($"Hour", $"Category") .agg(sum($"value").alias("TotalValue")) .sort($"Hour".asc,$"TotalValue".desc)) Результаты выглядят:

0зной

2ответ

Преобразование данных в паркет в Spark

У меня есть некоторые устаревшие данные в S3, которые я хочу преобразовать в формат паркета, используя Spark 2, используя Java API. У меня есть желаемая схема Avro (файлы .avsc) и их сгенерированные к

1зной

1ответ

Паркетная схема и Spark

Я пытаюсь преобразовать файлы CSV в паркет, и я использую Spark для этого. SparkSession spark = SparkSession .builder() .appName(appName) .config("spark.master", master) .getOrCrea

1зной

1ответ

Спарк Сохранить DataSet partitionby Файл уже существует Ошибка

У меня есть набор данных, который был построен следующим образом: Encoder<MyDomain> encoder= Encoders.bean(MyDomain.class); Dataset<MyDomain> stdDS = sc.createDataset(filteredRecords.rdd(), encoder);

1зной

1ответ

Google DataFlow & Reading Parquet файлы

Пытается использовать Google DataFlow Java SDK, но для моих учетных записей мои входные файлы являются .parquet файлами. Не удалось найти какие-либо функциональные возможности для чтения паркета в кон

1зной

1ответ

namenode.LeaseExpiredException while df.write.parquet при чтении из источника, отличного от hdfs

У меня есть искровой код, который работает на кластере пряжи и преобразует csv в паркет с помощью библиотеки databricks. Он отлично работает, когда источником csv является hdfs. Но когда источник csv

0зной

2ответ

Как эффективно читать несколько небольших паркетных файлов с помощью Spark? есть ли CombineParquetInputFormat?

Искры генерируется несколько небольших паркет файлов. Как можно обрабатывать эффективно небольшое количество паркетных файлов как на рабочих, так и на рабочих местах Spark.