Я работаю над большими данными и хочу получать данные/файлы из файловой системы, присутствующей на удаленной машине, не из каких-либо баз данных, т.е. для копирования файлов с удаленного компьютера linux/windows в hdfs. Пожалуйста, помогите мне.Копирование данных/Файл с Windows на Linux или HDFS
Вы можете скопировать файл из локального файла в файловой системе удаленного и наоборот с помощью
УПП команды УПП [Options] [[User @] From_Host:] source_file [[User @] To_Host:] [Destination_File]
я могу указать свой путь hdfs в 'source_file'? – animal
Да, вы можете указать путь hdfs, чтобы экспортировать файл на этот путь, но перед этим вам нужно написать как таковое * имя пользователя @ hostname:/hdfs_path * Также, если это hdfs, вы можете просто использовать * hdfs dfs - put your_local_file hdfs_path *, чтобы загрузить файл в hadoop – Farslan
Я пробовал эту команду scp и отлично работает между linux systesm, но не работает между linux и системой окна. – animal
Попробуйте установить Hue. Это очень полезный инструмент для этого. Перейдите по этой ссылке для получения более подробной информации: http://gethue.com/
Введите в обозревателе файлов в Хюэ, и нажмите на кнопку «Добавить файлы» кнопку, то вы можете загрузить свои файлы в HDFS
Я использую cloudera cdh 5.7 у него уже есть 'Hue', но как переместить файл с Windows-машины с помощью' Hue'? – animal
Войдите в Обозреватель файлов в оттенке и нажмите кнопку «Добавить файлы» – Mohamed2a
, он показывает мне мою локальную файловую систему Linux. Нет опции для выбора из файловой системы Windows. – animal
Вы имеете в виду копировать файлы с удаленного Linux машины к местному Linux-машина? –
скопируйте файл с удаленного компьютера linux/windows на локальный компьютер или hdfs. – animal
упомянуть, что в вопросе –