parquet

1зной

1ответ

Как получить количество записей в файле Parquet

У меня есть файл паркета, созданный из текстового/dat-файла с использованием Pig Script. Теперь я хотел бы знать, сколько записей в файле паркета, не читая файл? В любом случае, файл Parquet хранит ко

2зной

2ответ

Как выполнить запрос искры sql из функции карты (Python)?

Как выполнять искровые sql-запросы из подпрограмм, которые не являются частью драйвера программы? from pyspark import SparkContext from pyspark.sql import SQLContext from pyspark.sql.types import *

0зной

1ответ

Написать Паркетные файлы из искрового РДА в динамические папки

Учитывая следующий фрагмент кода (версия Spark: 1.5.2): rdd.toDF().write.mode(SaveMode.Append).parquet(pathToStorage) , которая сохраняет данные РДД в уплощенные Паркетных файлы, которые я хотел бы

3зной

1ответ

Parquet-MR AvroParquetWriter - как преобразовать данные в паркет (с конкретным отображением)

Я работаю над инструментом для преобразования данных из доморощенного формата в паркет и JSON (для использования в разных настройках с помощью Spark, Drill и MongoDB) , используя Avro с конкретным ото

0зной

1ответ

Impala: создать паркет из дампа mysql

У меня есть mysql dumps, как я могу преобразовать их в формат файла паркета с Impala? Я знаю, что я могу создавать паркетные файлы из CSV, но я хотел бы создавать паркетные файлы непосредственно без э

1зной

2ответ

Как заставить Spark использовать информацию о разделах из файлов Parquet?

Я пытаюсь предкомпрометировать разделы для некоторых запросов SparkSql. Если я вычисляю и сохраняю разделы, Spark их использует. Если я сохраню секционированные данные в Parquet и перезагрузите их поз