parquet

1зной

1ответ

Преимущество создания разделов Hive при использовании хранилища паркетных файлов

Есть ли какое-либо преимущество в создании разделов Hive при использовании хранилища паркетных файлов. Паркет - это форматы файлов с колоночной памятью, которые хранят данные в столбцах столбцов со вс

2зной

1ответ

Чтение локальных файлов в паркетном Спарке 2.0

В искрой 1.6.2 я могу читать местные паркетные файлы, делая очень простой: SQLContext sqlContext = new SQLContext(new SparkContext("local[*]", "Java Spark SQL Example")); DataFrame parquet = sqlConte

0зной

1ответ

Прочтите файлы паркета в Spark с совпадением рисунков

Я запускаю Spark 1.3.0 и хочу прочитать несколько паркетных файлов на основе соответствия шаблонов. файлы паркета в основном являются базовыми файлами Hive DB, и я хочу читать только некоторые файлы (

6зной

1ответ

Производительность загрузки паркетных файлов в классы классов в Spark

Я оцениваю производительность различных способов загрузки файлов Паркета в Spark и различия расходятся. В наших Паркетных файлах, мы гнездились случай классы типа: case class C(/* a dozen of attribute

3зной

3ответ

Как вы контролируете размер выходного файла?

В искровом режиме, как лучше всего контролировать размер файла выходного файла. Например, в log4j мы можем указать максимальный размер файла, после которого файл вращается. Я ищу аналогичное решение д

2зной

1ответ

Написать формат Паркет в HDFS с помощью Java API с с использованием Avro и MR

Что такое простой способ написать Паркет Формат в HDFS (с помощью Java API) по непосредственно создание Паркетная схемы в виде Pojo, без использования avro и MR? Образцы, которые я нашел, устарели и и

0зной

1ответ

выбрать из паркетного стола ничего не возвращает в куст

Я просто последовал за этим, чтобы создать простой паркетный файл. Scala> val sqlContext = new org.apache.spark.sql.SQLContext(sc) Scala> val employee = sqlContext.read.json(“employee”) Scala> emplo