parquet

1зной

1ответ

sqoop импорт в качестве паркетного файла целевой реж, но не может найти файл

Я использую sqoop для импорта данных из MySQL в улей, то команда, которую я использовал ниже: sqoop import --connect jdbc:mysql://localhost:3306/datasync \ --username root --password 654321 \

0зной

1ответ

другой размер одного и того же паркетного файла в искры

Я просто использую искру для чтения паркетного файла и делаю repartition(1) shuffle; затем сохраните обратно в файл паркета. Проводная вещь заключается в том, что новый файл намного больше исходного.

0зной

1ответ

Одна таблица, основанная на большом событии, или несколько таблиц? Рассмотрение дизайна таблицы улья

Я работаю над проблемой, когда у нас есть много разных событий, поступающих из разных источников, и эти события имеют 60% полей. Итак, с учетом сказанного, я изначально начал с создания отдельных табл

0зной

2ответ

Запись данных паркета в файл на S3 с помощью scala

Есть ли способ быстрой и стабильной записи паркетных данных на S3 с помощью scala?

12зной

2ответ

Как разбить и написать DataFrame в Spark без удаления разделов без новых данных?

Я пытаюсь сохранить DataFrame в HDFS в формате паркета с использованием DataFrameWriter, распределяли тремя значениями столбцов, например: dataFrame.write.mode(SaveMode.Overwrite).partitionBy("eventda