Уведомление Google PubSub о завершении задания потока данных

Question

Есть ли способ опубликовать сообщение в Google Pubsub после завершения задания Google Dataflow? Нам необходимо уведомить зависимые системы о завершении обработки входящих данных. Как Dataflow опубликовать после записи данных в раковину?

EDIT: Мы хотим уведомить вас после того, как конвейер завершит запись в GCS. Наш трубопровод выглядит следующим образом:

 
Pipeline.create(options) 
       .apply(....) 
       .apply(AvroIO.Write.named("Write to GCS") 
          .withSchema(Extract.class) 
          .to(options.getOutputPath()) 
          .withSuffix(".avro")); 
p.run(); 

Если мы добавим логики за пределами pipeline.apply (...) метод мы уведомлены, когда код завершает выполнение, не тогда, когда трубопровод будет завершен. В идеале мы могли бы добавить еще один .apply(...) после раковины AvroIO и опубликовать сообщение для PubSub.

Answer 1

У вас есть два варианта, чтобы получить уведомление, когда ваши концы трубопровода, а затем впоследствии опубликовать сообщение - или делать все, что вы хотите, чтобы после завершения работы трубопровода:

1. Используйте BlockingPipelineRunner. Это запустит ваш трубопровод synchronously.
2. Используйте DataflowPipelineRunner. Это запустит ваш трубопровод asynchronously. Затем вы можете опросить трубопровод на свой статус и дождаться его завершения.