avro

0зной

1ответ

Передача файлов csv в hdfs, с преобразованием их в avro, с использованием flume

Я новичок в Big Data, и у меня есть задача передать файлы csv в HDFS с использованием Flume, но она также должна конвертировать эти csv в avro. Я пытался сделать это с помощью следующих лотковой конфи

2зной

2ответ

SyntaxError: недопустимый синтаксис, когда я импортирую avro в python3

Я просто хочу импортировать avro в python3. И я получаю ошибку, просто импортирую схему avro. import os import string import sys from avro import schema ... # others are not matter И я могу чи

1зной

1ответ

Битовые потоковые вставки BiqQuery с использованием формата AVRO

Есть ли способ вставить данные в формате AVRO в BigQuery с помощью потоковых вставок? Если да, мы используем google-cloud-python, и, похоже, это не поддерживается. Только поддерживаемый тип - json. Я

1зной

1ответ

Как получить имя записи, определенное в схеме avro с помощью python?

Я сериализую данные с Avro в C#. Тогда я десериализую его с помощью Python. Давайте предположим, что у меня есть следующие схемы: { "type": "record", "name": "ClassXY", "fields" : [{"na

2зной

1ответ

C# Avro Schema, не закодированная потоком данных

Я использую Avro для сериализации объектов, а затем добавляю их в сообщения Kafka, которые будут потребляться и десериализоваться клиентами. Я пробовал несколько разных подходов к сериализации, но ни

1зной

1ответ

Как обрабатывать сообщения в формате avro от Kafka?

Я пытаюсь реализовать ниже команду kafka-console-consumer (хорошо работает & выводит нужные данные json) в виде программы с использованием искровой потоковой передачи. kafka-console-consumer.sh --zook

0зной

1ответ

Преобразование данных для поля с использованием AVRO

Я новичок в AVRO. Мы начали использовать схему AVRO для чтения данных. Теперь у нас есть прецедент, где мне нужно обрезать данные во время чтения. Пусть мой Avro schcema, как это { "name": "table