2017-01-30 12 views
1

Есть ли способ вставить данные в формате AVRO в BigQuery с помощью потоковых вставок? Если да, мы используем google-cloud-python, и, похоже, это не поддерживается. Только поддерживаемый тип - json. Я что-то упускаю?Битовые потоковые вставки BiqQuery с использованием формата AVRO

Документация на потоковые вставки BQ, похоже, не охватывает типы данных. Я смог найти только формат данных AVRO, упомянутый here, но не в контексте потоковых вставок.

Есть ли способ вставки данных в формате AVRO с помощью потоковых вставок, не могли бы вы сослаться на какой-либо пример? Если невозможно вставить данные AVRO с помощью потоковых вставок, то каков рекомендуемый способ вставки больших объемов данных в BQ с использованием AVRO? Наши требования к использованию превышают 1000 заданий на таблицу в день для рабочих нагрузок.

ответ

1

Нет, в настоящее время JSON является единственным поддерживаемым форматом для API потоковой передачи больших запросов. BigQuery поддерживает AVRO как входы загрузки, как вы упомянули.