parquet

0зной

1ответ

Как использовать fileStream для потока паркетных файлов?

Я пытаюсь передать паркетные файлы в Spark, но я не знаю, как использовать метод StreamStreamContext fileStream. Любая помощь приветствуется.

1зной

1ответ

Выполните группу на RDD в Spark и напишите каждую группу как отдельный файл Parquet

У меня есть память в памяти. Я хотел бы сгруппировать RDD с помощью некоторой произвольной функции, а затем выписать каждую отдельную группу как отдельный файл Parquet. Например, если мой РДД состоит

0зной

1ответ

Внешняя таблица улей как файл паркета возвращает NULL при запросе

Я создал файл .parquet, используя работу по сокращению карты. Теперь я хочу создать внешнюю таблицу поверх этого файла. Вот команда: CREATE EXTERNAL TABLE testparquet ( NAME STRING, AGE INT

3зной

1ответ

Паркет: рекурсивная структура данных о трещинах

У меня есть следующее (упрощенное) определение бережливости. Она содержит рекурсивную древовидную структуру: namespace java com.test.thrift struct B { 1: list<A> aList, 2: i16 label } s

1зной

1ответ

ClassCastException при де-сериализации (загрузка в таблицу улей) десятичные знаки, записанные в архитектуре avro. Формат паркета.

. . Я пытаюсь сериализовать данные csv в формате Паркет, используя схему Avro (Avro Backed) &, снова считывая это в таблицы улья. Это успешно получать сериализовать, используя следующий пример фрагмен

1зной

1ответ

Spark: Потоковая передача json в паркет

Как конвертировать json в паркет в потоковом режиме с помощью Spark? Acutually я должен ssh с сервера, получить большой файл json, преобразовать его в паркет и загрузить его на hadoop. У меня есть спо

0зной

1ответ

Несколько выходных форматов в одной карте уменьшить

У меня есть задание mapreduce, которое читает текстовый файл и создает из него паркет-файл и в то же время записывает в простой текстовый файл в качестве вывода. Я использовал для этого несколько выхо

0зной

2ответ

Как загрузить и индексировать файлы с паркетным форматом в elasticsearch?

У меня есть очень большой файл паркета, который мне нужно импортировать в elasticsearch. Я искал в сети, но не смог найти полезный результат. Интересно, поддерживает ли последняя версия elasticsearch

3зной

1ответ

Spark SQL: Вложенные классы в паркетную ошибку

Я не могу написать паркету JavaRDD<T>, где T - слово, Person класс. Я определил его как public class Person implements Serializable { private static final long serialVersionUID = 1L; privat