parquet

2зной

1ответ

Исправлена работа с большим текстовым файлом в формате gzip

Я запускаю работу Spark, которая слишком долго обрабатывает входной файл. Входной файл составляет 6,8 ГБ в формате Gzip и содержит 110 М строк текста. Я знаю, что это в формате Gzip, поэтому он не раз

3зной

2ответ

Паркет против Кассандры с использованием Spark и DataFrames

Я пришел к этой дилемме, что не могу выбрать, какое решение будет лучше для меня. У меня очень большая таблица (пара 100 ГБ) и пара меньших (пара ГБ). Чтобы создать мой конвейер данных в Spark и испол

1зной

1ответ

ParquetWriter выводит пустой файл паркета в автономную программу java

Я попытался преобразовать существующий файл avro в паркет. Но выходной файл паркета пуст. Я не уверен, что я сделал неправильно ... Мой фрагмент кода: FileReader<GenericRecord> fileReader = DataFileRe

0зной

1ответ

SparkR Написать в паркетном файл

Я пытаюсь написать кадр данных в формат паркетного кадр данных ул (тест) «data.frame» :. 365 набл из 4-х переменных: $ ID: CHR «Яблоко» «Яблоко» «Яблоко» «Яблоко» ... $ текст: CHR «Ши передать его на

5зной

1ответ

Как установить spark.sql.parquet.output.committer.class в pyspark

Я пытаюсь установить spark.sql.parquet.output.committer.class, и ничто из этого не делает, чтобы настройка вступила в силу. Я пытаюсь записать много потоков в одну и ту же папку вывода, которая будет