Выполняет ли перенос данных на другие узлы автоматически, если роль datanode будет удалена в кластере hadoop?

Question

У нас есть 5 узлов на нашем CDH-кластере, имеющих datanode и namenode на том же узле и еще 4 других datanode. Проблема заключается в том, что узел имен входит в безопасный режим, и это должно происходить из-за низкого дискового пространства. Я удалил роль datanaode на нашей машине datanode. Мне было интересно, если данные, хранящиеся на этом узле, будут сбалансированы через другую машину автоматически?

Answer 1

Нет общего ответа, но обычно, если удалять узел данных (по ошибке, умышленно и т. Д.), Пропущенные блоки следует идентифицировать как недореплицированные, а узел имени должен начинать отправлять инструкции на узлы данных до сделайте копию из реплик, пока все блоки не будут иметь все требуемые реплики. Предполагая, что параметр реплики по умолчанию установлен как 3, и по крайней мере у вас есть блок из каждого из недостающих блоков, кластер автоматически должен создать требуемые реплики, распределенные на доступных узлах данных.