Я загружаю источник файла и создаю и обрабатываю потоки, чтобы, наконец, погрузиться в HDFS. Для этого я использую Spring Cloud Dataflow + Kafka.Как узнать, когда файл был потоплен на HDFS с использованием Spring Cloud Dataflow
Вопрос: есть ли способ узнать, когда полный файл был потоплен в HDFS, чтобы вызвать событие?
есть ли способ узнать, когда полный файл был погружен в HDFS, чтобы вызвать событие?
Этот тип прецедента обычно подпадает под задачу/пакет в отличие от потокового трубопровода. Если вы создаете задачу filehdfs (batch-job), тогда вы можете иметь поток, который прослушивает различные события задачи, чтобы принимать дальнейшие решения или обработку данных ниже по потоку.
Обратитесь к «Subscribing to Task/Batch Events» из справочного руководства для получения более подробной информации.