У меня есть прецедент, в котором у меня есть новые файлы каждый день в разные моменты, как каждый час или два часа, поэтому мне нужно посмотреть каталог в моей папке, а при добавлении новых файлов он запускает событие, которое отправляет эти новые пути файлов к моему веб-сервису в NIFI, любая идея, как реализовать это и какой инструмент использовать для этого?Смотреть новые файлы в каталоге NIFI
Возможно, это не лучший подход?
Посмотрите на процессоры ListFile и FetchFile:
Полная документация Nifi можно найти на https://nifi.apache.org/docs.html
Если файл находится в файле системном затем использовать ' GETFILE ", который при добавлении нового файла в предоставленный« входной каталог »запускает событие и немедленно передает данные в NIFI без каких-либо задержек.
Если вам необходимо запланировать его как каждый час или какое-то конкретное время, используйте вкладку «Планирование» в конфигурации каждого процессора и назначьте его с помощью стратегии «Cron-Driven» и установите cron на каждый час, как этот */60 * * * *?
Если файл находится в S3 ведро, то вы должны использовать уведомление очереди SQS с использованием процессора «GETSQS» документированы в детализированы в ссылке ниже
http://crazyslate.com/apache-nifi-intergration-with-aws-s3/
https://community.hortonworks.com/content/idea/76919/how-to-integrate-aws-sqs-queue-with-nifi.html