parquet

1зной

1ответ

NumberFormatException, когда я пытаюсь создать паркетный файл с пользовательской схемой и типы BigDecimal

Мне нужно создать паркетный файл из CSV-файлов с помощью настраиваемого файл JSON схемы, как это: {"type" : "struct","fields" : [ {"name" : "tenor_bank","type" : "string","nullable" : false}, {"name":

1зной

1ответ

Как создать Dataset из столбца DataFrame в Spark 2.0?

Возможно ли создать набор данных из столбца Dataframe в Spark 2.0? У меня есть следующая проблема: я хочу прочитать некоторые данные из данных паркета, разделенных по дате, и после этого преобразовать

0зной

1ответ

Как выбрать вложенные массивы и карты в файле Parquet с использованием Spark SQL

Мне нужно выбрать элементы в глубоко вложенных структурах данных в файлах Паркета. Схема файла Паркетная выглядит следующим образом: root |-- descriptor_type: string (nullable = true) |-- src_date:

-1зной

1ответ

как подавить журнал, когда запрос из улья таблицы с форматом Паркетной

первого, я создать таблицу с spark1.6.1 как это: hiveContext.createDataFrame(rows, schema).write.mode(SaveMode.Append).saveAsTable(tableName) секунды, когда я запрос от моего стола, как это: hive> s

0зной

3ответ

Искра: прочитайте файл паркета и обработайте его

Я новичок в Spark 1.6. Я бы хотел прочитать файл паркета и обработать его. Для упрощающие предположим иметь паркет с этой структурой: id, amount, label и у меня есть 3 правила: amount < 10000 => lab

4зной

3ответ

Python: сохранить кадр данных pandas в файл паркета

Можно ли сохранить рамку данных pandas непосредственно в файл паркета? Если нет, то какой будет предлагаемый процесс? Цель состоит в том, чтобы отправить файл паркета в другую команду, в которой они м

0зной

1ответ

Как читать файл с использованием искрообразования и писать в простой файл с помощью Scala?

Я пытаюсь прочитать файл, используя программу Scala SparkStreaming. Файл хранится в каталоге на моем локальном компьютере и пытается записать его как новый файл на моем локальном компьютере. Но всякий