1
Как скопировать файлы с удаленных серверов Unix и Windows в HDFS без промежуточной стадии из командной строки?Скопировать файлы с удаленных Unix и серверов Windows в HDFS без промежуточной стадии
A
ответ
0
Вы можете использовать следующую команду:
hadoop fs -cp /user/myuser/copyTestFolder/* hdfs://remoteServer:8020/user/remoteuser/copyTestFolder/
или наоборот скопировать с сервера на локальную машину.
Вы также можете прочитать hadoop documentation.
0
Вы можете использовать WebHDFS и cURL для загрузки файлов. Это не потребует наличия каких-либо бинарных файлов на вашем клиенте, просто клиент cURL или cURL. Центр знаний BigInsights содержит информацию о том, как управлять файловой системой, используя HttpFS REST APIs.
Нет стандартной команды, которая достигает этого. Хорошие рабочие места даны [здесь] (http://one-line-it.blogspot.com/2013/05/hadoop-copy-directly-to-hdfs-from.html) и [здесь] (http: // stackoverflow.com/questions/11270509/putting-a-remote-file-into-hadoop-without-copying-it-to-local-disk). Надеюсь это поможет. – Ramzy