Dir's Move to Flume

Question

Я хотел бы загрузить DIR, который содержит sub dir и список файлов с использованием API flum или API java в HDFS под/flume/events. Я использую cloudera cdh5.1

Пожалуйста, не могли бы вы мне помочь в этом отношении. Я хотел бы пойти для кодирования того, как загружать/загружать dir, который содержит файлы sub dir и файлы. У меня есть идея о загрузке файлов в HDFS с помощью водовода API/Java API

Заранее спасибо

Answer 1

Есть причину, что вы используете Flume или Java? HDFS включает в себя утилиту для копирования из локальной файловой системы HDFS:

$ hdfs dfs -put <localsrc> ... <dst> 

Переключатели -copyFromLocal делает то же самое; использование -moveFromLocal удалит локальный файл после его копирования.

Использование

$ hdfs dfs -help 

для получения дополнительной информации.