parquet

1зной

1ответ

Спарк Исключение Сложные типы не поддерживаются при загрузке паркета

Я пытаюсь загрузить файл Паркетная в Спарк в dataframe- val df= spark.read.parquet(path) я получаю - org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 5.0 failed 4 t

1зной

2ответ

Сериализовать данные паркета с помощью C#

Есть ли способ сериализации данных в формате Apache Parquet с использованием C#, я не могу найти никакой реализации этого. В официальных документах Parquet говорится, что «Thrift может быть также зако

3зной

1ответ

Медленный паркет пишите в HDFS используя Spark

Я использую Spark 1.6.1 и записываю HDFS. В некоторых случаях кажется, что вся работа выполняется одним потоком. Почему это? Кроме того, мне нужны паркетные метаданные для регистрации паркетных файлов

3зной

2ответ

искры сохранять и читать на паркет HDFS

Я пишу этого код val inputData = spark.read.parquet(inputFile) spark.conf.set("spark.sql.shuffle.partitions",6) val outputData = inputData.sort($"colname") outputData.write.parquet(outputFile) //wr

3зной

2ответ

Spark написать паркет по hdfs

У меня есть 3 узла, которые установлены и установлены искры. Я хотел бы взять данные из rdbms в кадр данных и записать эти данные в паркет на HDFS. Значение «dfs.replication» равно 1. Когда я пробую э

1зной

1ответ

Кэширование vs Tempview

У меня есть файл паркета, который я читаю по крайней мере 4-5 раз в рамках моего приложения. Мне было интересно, что самое эффективное. Вариант 1. При написании файла паркета прочитайте его обратно в

0зной

1ответ

Сколько разделов при чтении данных паркета из Spark

Я использую Spark 1.6.0. и API DataFrame для чтения разделенных данных паркета. Мне интересно, сколько разделов будет использовано. Вот некоторые данные о моих данных: 2182 файлов 196 перегородки 2 GB