avro

1зной

1ответ

Как использовать Spark read Hive ДВОЙНОЕ значение, хранящееся в Avro-логическом формате

У меня есть существующие данные улья, хранящиеся в формате Avro. По какой-либо причине чтение этих данных с помощью SELECT выполняется очень медленно. Я еще не понял, почему. Данные разделены, и мое п

0зной

1ответ

JSON как формат обмена сообщениями

Когда две программы, независимо от языка, в котором они реализованы, хотят обмениваться сообщениями, они могут делать это с общим форматом, таким как protobuf или avro. Для этого они используют такие

0зной

3ответ

Spark Avro to Parquet Writer

Вопрос: объект не может быть сериализуемым Не могли бы вы посмотреть, как преодолеть проблему. способный правильно его читать, например, печатать правильно. но при написании записи на паркет получения

1зной

1ответ

Напишите Avro в рубине и прочитайте в Python

У меня проблемы с попыткой декодирования байтов Avro, написанных на Ruby, на тему Kafka. При просмотре строки байта avro я вижу, что это выглядит хорошо. Но когда я пытаюсь декодировать, я получаю код

1зной

1ответ

Сформирован Avro Builder набор нуль не переписывает с невыполнением

В моей Avro схеме, я определил поле как этот { "name": "myfield", "type": "string", "default": "" } Когда я строю свой Avro объект в Java я поставил myfield быть null (мой код просто

1зной

1ответ

Сливной схема реестр Avro схема

Эй, я хотел бы использовать схемы реестр Confluent с Avro сериализаторами: Документация сейчас в основном говорит: не использовать ту же схему для множества различных topics Может кто-нибудь объяснить

3зной

2ответ

Форматы сжатия файлов и форматы файлов в контейнере

Обычно говорят, что любой формат сжатия, такой как Gzip, при использовании вместе с форматом файла контейнера, таким как avro и последовательность (форматы файлов), сделает формат сжатия разделенным.

1зной

1ответ

Spark меняет схему при записи на Avro

У меня есть работа Spark (в CDH 5.5.1), которая загружает два файла Avro (оба с той же схемой), объединяет их для создания DataFrame (также с той же схемой), затем записывает их обратно в Avro. Задача