добавление datanode hdfs в скопище искры/hadoop

Question

У меня есть искровой кластер с 1 ведущим и 2 узлами (рабочий + датанод).
Я хочу добавить еще один datanode. проблема, когда я делаю hdfs dfs -setrep -R -w 2, результат:

1st datanode -> DFS Used%: 75.61% 
    2nd datanode -> DFS Used%: 66.78% 
    3rd datanode -> DFS Used%: 8.83% 

вы знаете, как это сделать, чтобы суметь сбалансировать блоки в HDFS, чтобы быть 30 -> 33% каждый approximatly?

Благодаря

Answer 1

Run balancer, кластер балансировки полезности. Это приведет к перебалансировке данных по датанодам.

hdfs balancer -threshold <threshold_value> 

-threshold определяет процент дисковой емкости. Значение по умолчанию равно 10.

Указывает, что использование дискового пространства каждого DataNode должно быть или должно быть скорректировано в пределах 10% от общего использования кластера.

Этот процесс может занять больше времени в зависимости от количества данных, которые необходимо сбалансировать и не влияет на операции кластера.

Или, выполнить Datanode Commissioning, если добавлены дополнительные узлы.