google-cloud-dataflow

0зной

1ответ

Запуск конвейера в DataflowRunner (Google Cloud Dataflow SDK для Python 0.5.5). Трубопровод: (p | 'Read trip from BigQuery' >> beam.io.Read(beam.io.BigQuerySource(query=known_args.input)) |

0зной

1ответ

агрегирование и усреднение данных на 200 млрд записей

Записи начались в файлах AVRO, которые были созданы ежедневно со следующей схемой. Существует 20 различных типов атрибутов, хранящихся в записях «attribute_key» и «attribute_value», метка времени и de

2зной

1ответ

Загрузка данных в Biqquery Разделенная таблица через Google Dataflow/Beam с помощью write_truncate

Итак, существующая настройка, которую мы использовали для создания новой таблицы за каждый день, которая отлично работала с опцией "WRITE_TRUNCATE", однако, когда мы обновляем наш код, чтобы использов

0зной

1ответ

Использование MySQL в качестве источника ввода и записи в Google BigQuery

У меня есть задача Apache Beam, которая читает из источника MySQL с использованием JDBC, и она должна записывать данные так же, как и в таблицу BigQuery. На данный момент никаких преобразований не про

2зной

1ответ

Ошибка определения входного сигнала на стороне Apache Beach

Я все еще новичок в потоке данных Apache Beam/Cloud, поэтому прошу прощения, если мое понимание неверно. Я пытаюсь прочитать файл данных длиной ~ 30 000 строк по конвейеру. Мой простой конвейер сначал