parquet

9зной

1ответ

Spark SQL не удалось завершить запись данных паркета с большим количеством осколков

Я пытаюсь использовать Apache Spark SQL для данных журнала etl json в S3 в файлах Parquet также на S3. Мой код в основном: import org.apache.spark._ val sqlContext = sql.SQLContext(sc) val data = sq

7зной

1ответ

Сохранение >> 25T SchemaRDD в формате Паркет на S3

Я столкнулся с рядом проблем при попытке сохранить очень большой SchemaRDD, как в формате Паркета на S3. Я уже задавал конкретные вопросы по этим проблемам, но это то, что мне действительно нужно дела

4зной

1ответ

Impala - преобразовать существующий формат таблицы в паркет

У меня есть таблица, в которой есть разделы, и я использую файлы avro или текстовые файлы для создания и вставки в таблицу. После того, как таблица выполнена, есть способ преобразования в паркет. Я им

3зной

3ответ

Напишите файл pojo's в паркет с использованием отражения

HI Ищите API-интерфейсы для написания парки с Pojos, которые у меня есть. Мне удалось создать схему avro с использованием отражения, а затем создать паркетную схему с помощью AvroSchemaConverter. Такж

0зной

1ответ

Sqoop import Parquet java.lang.NoClassDefFoundError: org/kitesdk/data/mapreduce/DatasetKeyOutputFormat error

Я клонировал проект sqoop от git hub и построил его в Windows 7 с помощью build.xml, используя ant, чтобы создать sqoop-1.4.6- SNAPSHOT.jar и развернуть его в /usr/lib/sqoop в cdh5 среде, но когда я з