spark-avro

0зной

2ответ

У меня есть некоторые устаревшие данные в S3, которые я хочу преобразовать в формат паркета, используя Spark 2, используя Java API. У меня есть желаемая схема Avro (файлы .avsc) и их сгенерированные к

3зной

1ответ

Обработка изменений схемы при запуске приложения Spark Streaming

Я ищу для создания приложения Spark Streaming с использованием API DataFrames на Spark 1.6. Прежде чем я зашел слишком далеко вниз по кроличьей норе, я надеялся, что кто-то поможет мне понять, как Dat

0зной

1ответ

Преобразование данных для поля с использованием AVRO

Я новичок в AVRO. Мы начали использовать схему AVRO для чтения данных. Теперь у нас есть прецедент, где мне нужно обрезать данные во время чтения. Пусть мой Avro schcema, как это { "name": "table

0зной

1ответ

Как преобразовать файл паркета в файл Avro?

Я новичок в hadoop и Big data Technologies. Мне нравится конвертировать файл паркета в файл avro и читать эти данные. Я ищу на нескольких форумах и предложил использовать AvroParquetReader. AvroParque

0зной

1ответ

Вопросы преобразования Avro Kafka между scala и Python

Наш проект имеет как scala, так и код python, и нам нужно отправлять/потреблять avro-кодированные сообщения в kafka. Я отправляю avro кодирует сообщения в kafka, используя python и scala. У меня есть

0зной

1ответ

Установка spark-avro

Я пытаюсь прочитать файлы avro в pyspark. Обнаружил от How to read Avro file in PySpark, что spark-avro - лучший способ сделать это, но я не могу понять, как установить его с их Github repo. Нет загру