parquet

3зной

5ответ

Не удается получить паркетные инструменты, работающие из командной строки

Я пытаюсь запустить новейшую версию паркетных инструментов, но у меня возникают некоторые проблемы. По какой-то причине org.apache.hadoop.conf.Configuration не находится в затененной банке. (У меня та

8зной

3ответ

Как более эффективно загружать файлы паркета в Spark (pySpark v1.2.0)

Я загружаю файлы с большими размерами паркета, но вам нужно всего несколько столбцов. Мой текущий код выглядит следующим образом: dat = sqc.parquetFile(path) \ .filter(lambda r: len(r.a)>0) \

1зной

1ответ

Наилучшая практика: как обрабатывать записи данных с меняющимися «схемами»/«столбцами»

Это наиболее практичный вопрос. Наша настройка - кластер hadoop, сохраняющий (регистрирующий) данные в hdfs. Мы получаем данные в формате csv, по одному файлу каждый день. Выполнение MR-заданий в hado

17зной

4ответ

Как читать вложенную коллекцию в Спарке

У меня есть паркетный стол с одной из колонн быть , массив < < структуры col1, col2, .. ColN >> Может работать запросов к этой таблице в Hive с использованием синтаксиса LATERAL VIEW. Как читать эту т

12зной

3ответ

Паркет без Hadoop?

Я хочу использовать паркет в одном из моих проектов в качестве хранилища столбцов. Но я не хочу, чтобы это зависело от hadoop/hdfs libs. Можно ли использовать паркет вне hdfs? Или Какова минимальная з