google-cloud-dataflow

1зной

3ответ

Ошибка «Bad Request» при запуске примера с --runner = BlockingDataflowPipelineRunner

Я новичок в Google Compute Engine, так что это, вероятно, неудача noob. Я пытаюсь запустить пример WordCount из GitHub project. DirectPipelineRunner отлично работает, но когда я пытаюсь использовать B

2зной

1ответ

Http get/post в поток данных

Я пытаюсь получить некоторые данные в поток данных, но данные не находятся в облачном хранилище - это rss-канал, который я обычно проверял каждые x часов. Есть ли способ сделать это напрямую с помощью

1зной

1ответ

В Cloud Dataflow, как я могу проверить контейнер Docker, в котором работает рабочий?

Как получить доступ к оболочке в контейнер Docker, в котором работает рабочий поток Dataflow? Как указано в комментариях this question, мы можем установить teardownPolicy=TEARDOWN_NEVER, чтобы поддерж

0зной

1ответ

NotSerializableException: org.apache.avro.io.DecoderFactory в трубопроводе Google Cloud Dataflow

Я построение DataFlow трубопровода, например, в основном, на основе коды на https://cloud.google.com/dataflow/java-sdk/combine Но когда я запускаю мой код, я переживаю следующее исключение: исключение

2зной

1ответ

google cloud dataflow чтение данных из сжатых данных

Я пытаюсь использовать поток данных Google Cloud для чтения данных из GCS и загрузки в таблицы BigQuery, однако файлы в GCS сжаты (gzip), есть ли какой-либо класс, который можно использовать для читат

1зной

1ответ

Проект «Dataflow: ReadOnly Артефакты (НЕ УДАЛИТЬ)» видна в моей консоли разработчика

Правильно ли, что я могу видеть проект «DataFlow: ReadOnly Артефакты (НЕ УДАЛИТЬ)» в моих разработчиков утешать? С тех пор, как я получил альфа-доступ к CDF в прошлом месяце, он был виден. Я также зам