parquet

9зной

2ответ

Как работать с слишком длинными задачами (по сравнению с другими в задании) в пряжи-клиенте?

Мы используем искру кластер как yarn-client вычислить несколько бизнес, но иногда мы задача работать слишком долго: Мы не установлен тайм-аут, но я думаю, что по умолчанию таймаут искра задача не слиш

4зной

2ответ

Добавить новый столбец в существующий файл паркета

Есть ли способ добавить новый столбец в существующий файл паркета? В настоящее время я работаю над соревнованием в kaggle, и я преобразовал все данные в файлы паркета. Вот был случай, я прочитал файл

5зной

2ответ

Spark write Parquet to S3 последняя задача берет навсегда

Я пишу паркетный файл от DataFrame до S3. Когда я смотрю на пользовательский интерфейс Spark, я вижу все задачи, но 1 быстро завершен на этапе написания (например, 199/200). Эта последняя задача, по-в

6зной

1ответ

Может ли паркет поддерживать параллельные операции записи?

Можно ли выполнять распределенные параллельные записи в формат паркета? И можно ли прочитать паркетные файлы во время их написания? Если есть методы для одновременного чтения/записи, мне было бы интер

2зной

2ответ

как улей создать таблицу с использованием паркета и snappy

Я знаю синтаксис для создания таблицы с использованием паркета, но я хочу знать, что это значит создавать таблицы с использованием паркетного формата и сжиматься мгновенно и как мы это делаем? пожалуй

0зной

1ответ

Spark - Сохранение данных в Паркетные файл в случае динамической схемы

У меня есть JavaPairRDD следующего ввода: Tuple2<String, Iterable<Tuple2<String, Iterable<Tuple2<String, String>>>>> что обозначает следующий объект: (table_name, Iterable (Tuple_ID , Iterable (Column

1зной

4ответ

Scala Error: value registerTempTable не является членом org.apache.spark.sql.SchemaRDD

Я хочу прочитать файл Parquet. Я пишу этот код в свече скорлупе: val logFile = "hdfs://byd0085/" val sqlContext=new org.apache.spark.sql.SQLContext(sc) val parquetFile = sqlContext.parquetFile(logFi