Hadoop: HDFS Cluster работает вне пространства, хотя пространство доступно

Question

У нас есть 4 datanode HDFS-кластера ... на каждом узле данных около 98 гб имеется большое количество пространства ... но когда я смотрю на информацию о датаном .. это только используя около 10GB и бежит из космоса ...

Как мы можем сделать его использовать все 98gb, а не бежать из космоса, как показано на изображении

это конфигурация дискового пространства

это HDFS-site.xml на имя узла

<property> 
     <name>dfs.name.dir</name> 
     <value>/test/hadoop/hadoopinfra/hdfs/namenode</value> 
</property> 

это является HDFS-site.xml под узлом данных

<property> 
     <name>dfs.data.dir</name> 
     <value>/test/hadoop/hadoopinfra/hdfs/datanode</value> 
</property> 

Eventhough/тест имеет 98GB и hdfs сконфигурирован для его использования, он не использует его

Отсутствует что-либо при изменении конфигурации? И как мы можем убедиться, что 98GB используется?

Answer 1

Согласно this Hortonworks Community Portal link, шаги по изменению вашего каталога узла данных заключаются в следующем:

1. Остановите кластер.
2. Перейдите в конфигурацию HDFS ambari и отредактируйте конфигурацию каталога данных: Remove/hadoop/hdfs/data и/hadoop/hdfs/data1. Добавить [new directory location].
3. Войдите в каждый datanode (через SSH) и скопируйте содержимое/data и/data1 в новый каталог.
4. Изменение права собственности на новый каталог и все под ним на «hdfs».
5. Запустить кластер.

Я предполагаю, что вы технически уже до шага 2, так как вы отображаются ваши правильно настроены основные-site.xml файлы в исходном вопросе. Убедитесь, что вы сделали другие шаги, и что все услуги Hadoop были остановлены. Оттуда измените право собственности на пользователя, использующего Hadoop (обычно hdfs, но я работал в месте, где root запускал процессы Hadoop), и вы должны быть хорошими, чтобы идти :)