Ошибка Отображение файлов HDFS на внешний диск

Question

Я хочу создать папку в hadoop-2.7.3, которая физически находится на внешнем диске (usb-thumb), предполагая, что любой файл, который I -copyFromLocal, будет находиться на привод большого пальца. Точно так же любые выходные файлы из Hadoop также идет на внешний диск:

mkdir /media/usb 
mount /dev/sdb1 /media/usb 
hdfs dfs -mkdir /media/usb/test 
hdfs dfs -copyFromLocal /media/source/input.data /media/usb/test 
hadoop jar share/hadoop/tools/lib/hadoop-streaming-*.jar \ 
    -input /media/usb/test/input.data \ 
    -output /media/usb/test/output.data 

Но я не получаю такую ​​/ ошибки папки файлов при попытке сделать папку выше .. это работает только если я делаю папки локальной для Hadoop:

hdfs dfs -mkdir /test 
hdfs dfs -copyFromLocal /media/source/input.data /test 

К сожалению, это помещает файл входных данных на тот же диск, что и установка hadoop, которая почти заполнена. Есть ли способ сделать/отобразить папку HDFS, чтобы она читала/записывала с диска, отличного от диска hadoop?

Answer 1

То, что вы пытаетесь сделать, невозможно! Это бросает вызов всей идее распределенного хранения и обработки.

Когда вы делаете copyFromLocal файл идет из вашего локального файла в место HDFS (который управляет hasoop). Вы можете добавить свой новый диск как HDFS DataNode, но не можете указывать файл для его перемещения.

Если пространство является вашим единственным ограничением, добавьте новый диск в качестве datanode и перебалансируйте кластер.

---

После добавления нового узла и DataNode сервис запускается на нем, баланс кластера с помощью:

hdfs balancer 
     [-threshold <threshold>] 
     [-policy <policy>] 
     [-exclude [-f <hosts-file> | <comma-separated list of hosts>]] 
     [-include [-f <hosts-file> | <comma-separated list of hosts>]] 
     [-idleiterations <idleiterations>] 

См: HDFS Balancer