Multi-tenacy в Нифи (HDF)?

Question

У меня есть кластер HDF, состоящий из 3 узлов, где установлен Nifi. Моя цель - добиться многозначности (возможно, не лучшего слова) на уровне Nifi. Это означает, что я хочу 2 вещи:

• Разные группы пользователей работают над различными потоками, которые рассматривают некоторую политику доступа.
• Принудительные потоки, выполняемые разными пользователями на уровне системы unix. Это может показаться странным, но адреса (hdfs, hive ...) моих потоков требуют, чтобы на них писали разные пользователи. И наличие одного пользователя nifi может быть проблематичным.

До сих пор я преуспел в достижении наивысшей точки, используя конфигурацию безопасности и авторизации в nifi. Однако я не знаю, как достичь второго. Возможно ли это? Есть ли какая-то конфигурация нескольких экземпляров в hdf или nifi? Могут ли потоки выполняться разными пользователями на уровне системы unix?

Любая помощь приветствуется ...

Спасибо за ваши ответы

Answer 1

Apache Nifi поддерживает авторизацию многопользовательских. Чтобы добиться многоуровневости с точки зрения ресурсов/систем, вам нужно запустить несколько экземпляров NiFi. Это позволит отдельным процессам запускаться как разные пользователи и настраиваться с различными настройками, которые влияют на потребление ресурсов.

Если необходимо подключить разные потоки данных, управляемые различными группами, вы можете использовать RemoteProcessGroup, чтобы указать на другой экземпляр для отправки и получения файлов потоков.