2
У меня есть требование, когда я хочу запустить Flume agent с каталогом буферизации в качестве источника. После того, как все файлы из каталога спула будут скопированы в HDFS (раковина), я хочу, чтобы агент остановился, поскольку я знаю, что все файлы перенаправляются на канал. Также я хочу каждый раз запускать эти шаги для разных каталогов буферизации и останавливать агента, когда все файлы из каталога помечены как .COMPLETED. Есть ли способ остановить поток агента.Остановка агента Flume
Это не используемый футляр – Farooque
Ok.May be Я могу понизить уровень. Позвольте мне объяснить вам, чего я пытаюсь достичь. У меня есть процесс ETL. Когда пользователь вводит каталог ввода, я сначала копирую его в HDFS с помощью команды put, а затем запускаю на нем задание MapReduce. Что я пытался проверить, если есть эффективный способ нажатия данных в HDFS, чем с помощью команды put.So я пытался исследовать лоток, чтобы достичь этого. Но проблема заключается в том, что каждый раз, когда каталог буферизации будет меняться, поскольку пользователи могут захотеть загрузить данные из разных каталогов. Соответствует ли это случаю использования флюма? Если нет, то есть другой компонент, доступный для этого? –