google-cloud-dataflow

3зной

1ответ

Динамическое разбиение на разделы в облачном потоке данных Google?

Я использую поток данных для обработки файлов, хранящихся в GCS, и записи в таблицы Bigquery. Ниже приведены мои требования: входные файлы содержат записи событий, каждая запись относится к одному тип

3зной

1ответ

Сделайте «боковые входы» в Cloud Dataflow, поддерживая чтение из представлений BigQuery?

Пытался указать боковой вход на вид BigQuery, а не непосредственно на таблицу BigQuery. Он не вызывает ошибку, но просто возвращает 0 строк. Просмотр прекрасно работает внутри BigQuery. Например, учит

1зной

1ответ

Maven не может скомпилировать Google Cloud Dataflow SDK

Я не могу скомпилировать SDK Google Cloud Dataflow. Я получаю сообщение об ошибке, когда я делаю «МВН установки»: [ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:comp

1зной

1ответ

Как начать изучение облачного потока данных Google?

Я изучаю компьютерную инженерию. И я подумываю изучить Google Cloud Dataflow. Так что я хотел спросить, хорошо ли изучать Google Cloud Dataflow в качестве студента в UG. Также у меня нет большого опыт

2зной

1ответ

Как обрабатывать файл GCS, полный файл за раз?

Мне нужно обработать (GCS) ведро файлов, где каждый файл сжат и содержит одну многострочную запись JSON. Кроме того, имя обрабатываемого файла является значительным, и мне нужно знать его в рамках мое

1зной

1ответ

Лучший способ обработки файла GCS в потоке данных?

У меня есть PCollection совпадающих имен файлов GCS, каждый из которых содержит один сжатый JSON blob. Каков наилучший способ прочитать весь файл, распаковать его (формат Gzip) и JSON декодировать его

0зной

1ответ

Ошибка при работник бассейна сворачивают: «Не удается сократить без потери активных данных перетасовать»

обновлен до последней версии SDK 0.3.150326, и у нас была работа не из-за этой ошибки: (d0f58ccaf368cf1f): Workflow failed. Causes: (539037ea87656484): Cannot downsize without losing active shuffle da