4
Я пытаюсь реализовать рабочий ниже с помощью Apache Nifi:Apache Nifi Execute Process Processor
- ExecuteSQL - Это Извлечение данных из базы данных оракула в Avro формате
- PutHDFS -Этот должен поместите данные в hdfs
- ExecuteProcess - Этот процессор выполняет сценарий bash в фоновом режиме, который, в свою очередь, создает таблицу внешнего улья
У меня есть несколько вопросов:
ли ExecuteProcess процессор в Apache Nifi принимает входящие файлы потока?
Я не могу предоставить процессор ExecuteProcess любому входящему файлу потока. Если нет, есть ли способ поддержать прием входящих файлов потока?
Мне нужно еще несколько разъяснений. В рабочем процессе, о котором я упомянул выше. Процессор SQl будет извлекать данные из oracle db в формате avro и хранить их в определенном месте? Мне нужно знать, где их размещение этих файлов. Следующим шагом потока является процессор PutHdfs, который скопирует файл с локальной машины в местоположение HDFS. Так будет ли это место на локальном компьютере? – Anonymous
Как только данные находятся в NiFi, они хранятся во внутренних хранилищах NiFi, которые контролируются свойствами, установленными в conf/nifi.properties. ExecuteSQL будет извлекать данные из базы данных и создавать файл потока, который хранит записи в репозитории контента NiFi, затем передаст файл потока в отношение успеха, связанное с PutHDFS, и PutHDFS будет считывать записи из репозитория контента, действительно нужно знать, где это. –