google-cloud-dataflow

0зной

1ответ

Возможно ли создать еще один DatastoreV1.Read внутри текущего исполняемого конвейера?

Я знаю, что вначале можно создать два запроса с помощью PCollections, KVs и CoGbkResult, но вы должны указать свои DatastoreIO.Reads вне ParDos/DoFns. Можно ли сделать что-то вроде этого: Pipeline pip

0зной

2ответ

Почему экземпляры Google Pipeline VM висят бесконечно?

Я использую Dockerflow для выполнения параллельных задач с помощью API-интерфейсов Google для Google Cloud Platform. Я начал одношаговую задачу, запускающую 1389 виртуальных машин параллельно, и обнар

0зной

1ответ

Конвейер потока данных ждет элементов из всех потоков до выполнения GroupBy

Мы запускаем задание Dataflow, которое обрабатывает несколько входных потоков. Некоторые из них имеют высокий трафик, а некоторые из них редко получают сообщения. Мы объединяем все потоки с «общим» по

5зной

1ответ

Сохранение в эластичном поиске из задания потоковой передачи данных Google Data

Я сохраняю данные в BigQuery с помощью задания потокового потока данных Google. Я хочу вставить эти данные в эластичный поиск для быстрого доступа. Является ли хорошей практикой вызывать logstach из п

0зной

1ответ

Что такое SDK 1.9 fix for и Beam (2.0) SDK-замена для InProcessPipeline runner?

Рытье через комментарии в this thread, оказывается, что InProcessPipelineRunner является А) В настоящее время нарушена PubSub читает в SDK 1.9 с исправлением предстоящей B) будет заменен на Beam SDK М