google-cloud-dataflow

5зной

1ответ

Пропуск строк заголовков - возможно ли это с помощью Cloud DataFlow?

Я создал трубопровод, который читает из файла в GCS, преобразует его и, наконец, записывает в таблицу BQ. Файл содержит строку заголовка (поля). Можно ли запрограммировать «количество строк заголовка

5зной

2ответ

Как выполнить объединение в потоке данных?

Я пытаюсь выполнить операцию объединения в Dataflow. Есть ли пример кода для объединения двух PCollections в Dataflow?

11зной

2ответ

Google Dataflow vs Apache Storm

Чтение API Dataflow API Google У меня сложилось впечатление, что он очень похож на то, что делает Apache Storm. Обработка данных в реальном времени через поток конвейерной обработки. Если я не полност

0зной

2ответ

Облачность DataFlow - наши времена ожидаются?

Ищите рекомендации относительно того, как лучше всего архитектор/дизайн и построить наш трубопровод. После некоторого первоначального тестирования мы не получаем ожидаемых результатов. Может быть, мы

1зной

1ответ

TextIO.Write.to (..) - можно ли указать сжатие?

Я знаю, что можно указать тип сжатия для ввода трубопровода при использовании TextIO.Read, например, так: TextIO.Read.from("gs://..").withCompressionType(..) ли также можно указать тип сжатия для вы

0зной

1ответ

DirectPipelineRunner - поддерживает стандартные шаблоны шаров?

Выполнение нашего конвейера в облачном режиме отлично. Но при запуске его как DirectPipelineRunner (т. Е. Локально) он пробит и жалуется на поставляемый файл. В шаблоне файла используется глобус. Явля

1зной

1ответ

Совместное использование экземпляров нескольких заданий/трубопроводов DataFlow - возможно ли это?

Можно ли отправить X отдельных рабочих мест/трубопроводов с помощью бегуна DataflowPipelineRunner (асинхронный), и чтобы задания распределяли рабочий пул, а затем разворачивали и разрывали отдельные?