Привет Я выполняю эту команду на одном из конечных узлов кластера хаопов. Я хочу скопировать данные из hdfs на удаленный компьютер. Я не могу хранить его локально из-за ограниченной дисковой квоты на локальной машине. Я хочу запустить hdfs dfs -get /data/abc remotemac/abcкопирование из hdfs на удаленную машину
Вы не можете сделать это напрямую, однако вы можете посмотреть в API Hoop и WebHDFS REST. Hoop дает вам доступ к чтению и записи HDFS через HTTP/HTTPS.
На Hortonworks находится блог о WebHDFS HTTP rest access to HDFS.
Существует еще одно решение, использующее sshj. Это чистая реализация Java из SSHv2 позволяет подключиться к серверу Sshd и использовать перенаправление портов, передачу файлов и т.д. Подробнее в следующей ссылке:
Ссылка: https://blog.layer4.fr/2013/04/09/transfert-files-from-hadoop-to-a-remote-server-via-ssh/
Является ли удаленный компьютер вы говорите о, еще один кластер? Если это так, вы можете использовать 'distcp' для этого. – daemon12
это не кластер хаоса. Его удаленная автономная машина linux –