avro

2зной

1ответ

Компиляция схем avro (python), когда сообщение содержит более одного сообщения

Я использую import avro и т. Д. Для компиляции схем avro в python. Иногда моя схема avro будет выглядеть так: { name: "Message1" ..... } { name: "Message2", "fields": [ { "type": "Message1", "name":

3зной

1ответ

Как использовать Avro для обработки потока, который я не могу найти?

Я использую Avro 1.4.0 для чтения некоторых данных из S3 с помощью связок Avro Python и библиотеки boto S3. Когда я открываю файл avro.datafile.DataFileReader в файле, как объекты, возвращаемые boto,

1зной

2ответ

Обратная совместимость потоковой передачи Hadoop

AFAK, Hadoop Streaming поддерживает только текстовый ввод, что означает, что данные организованы линиями. но код mapper станет беспорядочным, если мы хотим иметь обратную совместимость, поддерживая ра

1зной

1ответ

Avro json decoder: игнорировать пространство имен

Я пытался использовать Apache Avro на проекте ... и я встретил некоторые трудности avro serialization/deserialization работает как шарм ... но я получаю исключения декодера .. как неизвестная ветвь об

1зной

2ответ

Есть ли утилита для утилиты Apache?

Я хотел бы узнать, есть ли утилита «cat» для двоичного формата файла avro для Apache? Что-то вдоль линий zcat, или bzcat для gzip и bzip2 соответственно. Благодарим за помощь!

10зной

1ответ

необязательный массив в схеме avro

Мне интересно, возможно ли иметь дополнительный массив. Предположим, схема так: { "type": "record", "name": "test_avro", "fields" : [ {"name": "test_field_1", "type": "long"},

2зной

1ответ

Устаревший код при использовании версии avro-maven-plugin 1.6.1

Я запускаю Java-код с помощью Apache Avro. Некоторый код устаревает в java-файле, и я не уверен, почему. Я использую Maven для запуска моей программы Java. Это ява файл public class AvroAddressTest {

2зной

2ответ

Можете ли вы добавить данные в существующий файл данных Avro?

Кажется, что нет никакого способа добавить данные в существующий сериализованный файл Avro. Я бы хотел, чтобы несколько процессов записывались в один файл avro, но каждый раз, когда я его открываю, я

0зной

1ответ

NullPointerException при создании SpecificDatumWriter <T>

Изучая Apache Avro в книге Тома Уайта, Hadoop: The Definitive Guide, я получил ошибку. Пример имеет 3 шага: Создать Avro файл схемы (Pair.avsc) { "type":"record", "name":"Pair", "doc":"