parquet

1зной

1ответ

Как написать список определенного типа с использованием сериализатора kryo

Я пытаюсь написать список определенного типа с использованием сериализатора Kryo, но я получаю ошибки, когда пытаюсь его прочитать/записать. Я использую источник предоставленного апача искры для KryoR

1зной

1ответ

Преобразование документов JSON в паркет

У меня есть корпус документов JSON, и я хочу конвертировать/хранить их в формате Паркет для эффективной обработки с использованием C++. У меня есть 2 вопроса относительно процесса: Q1- Во всех подобны

3зной

1ответ

Как преобразовать строку rdd в типизированный rdd

Можно ли преобразовать RDD RDD в Typed RDD. В коде ниже, можно преобразовать строку JavaRDD в счетчиковых JavaRDD код: JavaRDD<Counter> rdd = sc.parallelize(counters); Dataset<Counter> ds = sqlContex

3зной

1ответ

Parquet Writer для буфера или байтового потока

У меня есть приложение java, которое преобразует сообщения json в формат паркета. Есть ли какой-либо автор паркета, который пишет в буфер или поток байтов в java? Большинство примеров, которые я видел

18зной

1ответ

Почему Apache Spark считывает ненужные столбцы паркета внутри вложенных структур?

Моя команда создает процесс ETL для загрузки сырых текстовых файлов с разделителями в паркетное «озеро данных» с использованием Spark. Одно из обещаний магазина столбцов Parquet заключается в том, что

4зной

1ответ

Исключение ошибки при преобразовании таблицы MySQL в паркет

Я пытаюсь преобразовать удаленную таблицу MySQL в файл паркета, используя искру 1.6.2. Процесс проходит в течение 10 минут, заполняя память, чем начинается с этими сообщениями: WARN NettyRpcEndpointRe

2зной

1ответ

Искра записи в S3 SaveMode.Append

С существовавшие ранее набора данных s3://data/id=1/file.parquet s3://data/id=2/file.parquet и въездного dataframe /data/id=3/ Если входные данные записываются с SaveMode.Append df.write.partitio