Можно ли загружать файлы Avro с помощью Snappy сжатия в BigQuery?

Question

Я знаю, что BigQuery поддерживает загрузку файлов Avro, и мне удалось загрузить файл Avro в BigQuery.

Использование ниже команды,

java -jar avro-tools-1.7.7.jar fromjson --codec snappy --schema-file SourceSchema.avsc Source.json > Output.snappy.avro 

Я сгенерировал Avro файл с Snappy сжатия и пытается загрузить в BigQuery, но нагрузки работа терпит неудачу с ниже ошибки,

Errors: 
file-00000000: The Apache Avro library failed to parse file file-00000000. (error code: invalid) 

Можно ли загрузить Файлы Avro с мгновенным сжатием в BigQuery?

Answer 1

BigQuery поддерживает только ВЫКАЧИВАЕТ и Snappy алгоритма сжатия Avro блоков данных, из документации (https://cloud.google.com/bigquery/docs/loading-data-cloud-storage-avro)

Прессованных Avro файлов не поддерживается, но сжатые блоки данных есть. BigQuery поддерживает кодеки DEFLATE и Snappy.

Answer 2

Теперь BigQuery поддерживает Snappy. См: https://cloud.google.com/bigquery/docs/loading-data-cloud-storage-avro

Сжатый Avro файлы не поддерживаются, но сжатые блоки данных являются. BigQuery поддерживает кодеки DEFLATE и Snappy.