У нас есть 12 серверов hasoop cluster (CDH), недавно, мы хотим вывести из эксплуатации три из них, но этот процесс уже работает там более 2 дней. Но это никогда не заканчивается. Тем более, что за последние 24 часа я видел, что на трех узлах данных есть только данные 94G, но размер за последние 24 часа не меняется. даже через номер реплицированных блоков уже был равен нулю. Коэффициент репликации равен 3 для всех данных в hdf.Утилизация узла CDH HDFS никогда не заканчивается
Ниже приводится результат для команды Hadoop FSCK:
Общая площадь: 5789534135468 B (Всего открыт размер файлов: 94222879072 B) Всего каталоги: 42458 Всего файлов: 5494378 Всего ссылок: 0 (Файлы в настоящее время написали: 133) Всего блоков (проверено): 5506578 (средний размер блока 1051385 B) (Всего открытых блоков файлов (не проверено): 822) Минимально реплицируемые блоки: 5506578 (100,0%) Сверхреплицируемые блоки: 0 (0,0%) Недокументированные блоки: 0 (0,0%) Мис-реплицируемые блоки: 0 (0,0%) По умолчанию фактор репликации: 3 Средняя репликация блока: 2.999584 Продажные блоки: 0 Отсутствует реплики: 0 (0,0%) Количество данных-узлов: 13 Количество стоек : 1 FSCK закончилось в понедельник 17 окт 16:36:09 KST 2016 в 781094 миллисекундах