У нас есть два кластера. Один из них - это HDF-кластер, включая Nifi, а другой - HDP-кластер, включающий hdf, Hive - другие компоненты. Мы читаем данные из файла и хотим разместить их в hdp-кластере hdf.Хранение данных HDF в HDP
Кто-нибудь может указать на документацию относительно этого или несколько примеров ..
Заранее спасибо
процессор Nifi в PutHDFS будет записывать данные в HDFS. Вы настраиваете его с помощью файлов hdfs-site.xml и core-site.xml.
Иногда конфигурации сети, безопасности или приложений затрудняют надежную запись файлов с удаленного NiFi в кластер Hadoop. Общим примером является использование двух NiFis - один NiFi собирает, форматирует и агрегатирует записи перед передачей во второй NiFi внутри кластера Hadoop через протокол NiFi site-to-site. Поскольку второй NiFi находится внутри кластера Hadoop, он может упростить запись файлов в HDFS.
Особенности PutHDFS в паре NiFi Example Dataflow Templates, которые также демонстрируют обычно связанные действия, такие как агрегирование данных, идентификация каталогов и файлов и связь между сетями NiFi.
Спасибо Джеймс .. на данный момент я не сталкивался с проблемами, связанными с сетью. – jon