apache nifi - как выполнить группу процессов один за другим

Question

Я создал 3 группы процессов. Я хочу, чтобы вторая группа процессов была выполнена после завершения первой группы процессов, а третья группа процессов, которая будет выполнена после завершения второй группы процессов.

Любое решение на это пожалуйста ??

Answer 1

Apache NiFi спроектирован вокруг предположения о непрерывном потоке. Адаптация непрерывного потока к планированию заданий может быть неудобным и трудным, поскольку это зависит от того, как вы определяете, когда группа процессов «завершена». Сам NiFi не имеет понятия о группе процессов, которая когда-либо была завершена, остановлена ​​или запущена. Есть некоторые вещи, которые вы могли бы быть в состоянии сделать:

• Merge выход каждой группы процессов к одному flowfile, который передается следующей группе процессов (с использованием MergeContent, например).
• Планирование процессора при входе в каждую группу с использованием планирования CRON, в зависимости от времени синхронизации потоков.
• Создайте пользовательский процессор (или ExecuteScript), который опросит выполненные условия предыдущей группы процессов.

Все они действительно сводятся к одной и той же проблеме - как вы узнаете, что предыдущая группа «завершена»?

Answer 2

Каждая группа процессов имеет отношение для соединения с другой группой процессов.

Попробуйте перетащить отношения из первой группы процессов во вторую и из второй группы процессов в третью группу процессов.

Требуется создать выходной порт в первой группе процессов, которая будет подключаться к порту ввода второго процессора. Если вы не хотите использовать вывод первой группы процессов во второй группе процессов, просто напишите в ней какую-нибудь директорию, используя процессор «putFile» во второй группе процессов и создайте независимый поток для нашей второй группы процессов.

Попробуйте это, и я дам вам знать, могу ли я найти другой способ сделать это.