google-cloud-dataflow

0зной

1ответ

Можно ли записать оконный неограниченный PCollection в конкретный раздел BQ?

Учитывая оконный PCollection в потоковой передаче, я хотел бы написать конкретный раздел в таблице BQ на основе окна. При указании tableSpecFunction для BigQueryIO.Write.Bound.to(SerializableFunction<

0зной

1ответ

gcp PubSub получило «задержку обработки».

Это наша настройка, у нас есть одна тема, и в этом разделе есть две подписки v1 и v2 с точной идентичной настройкой, обе являются подпиской на подписку с сроком на 10 секунд. обе подписки v1 и v2 идут

1зной

1ответ

Исключение Apache Beam при запуске примера wordcount

Я думаю, что я последовал за шагом на документе, но я все еще сталкивался с этим исключением. (единственное отличие заключается в том, что я запускаю это из Eclipse J2EE, но я не буду ожидать, что это

2зной

1ответ

apache_beam.runners.dataflow_runner.DataflowRuntimeException: Dataflow трубопровод не удалось:

Я создал проект Google Cloud в облаке Shell, и попытался запустить этот учебник сценарий https://github.com/GoogleCloudPlatform/cloudml-samples/blob/master/flowers/sample.sh Ран в эту ошибку: ***@***:

3зной

1ответ

Как слить трубопровод из другого трубопровода?

Мне нужно программно сливать трубопровод из другого трубопровода. Класс DataflowPipelineJob не имеет метода drain. Можно ли вызвать drain по конвейеру с помощью Java API?

1зной

1ответ

Трубопроводы потока данных из-за «поставленной упаковки»

Ошибка потока данных (id 2017-01-15_19_15_22-2979660111155895381), и мы не знаем, почему это произошло. Мы ежедневно запускаем ~ 100 заданий потока данных с одного и того же компьютера, и примерно в т

1зной

1ответ

Bigtable-BigQuery Импорт через DataFlow: 2 вопроса по разбиению таблиц и меток времени

У меня есть работа в Dataflow импортировании данных из Bigtable в Bigquery с использованием встроенных API Dataflow для обоих. У меня есть два вопроса: Вопрос 1: Если исходные данные в один большой ст