Один из дисков из моего datanode кластера hadoop стал доступен только для чтения. Я не уверен, что вызвало эту проблему. Удалите этот том из данных, которые приводят к потере данных? Как справиться с этим, если я собираюсь столкнуться с потерями данных?Datanode один из дисковых томов диска
Если ваш кластер hadoop имел коэффициент репликации более 1 (по умолчанию это 3 для кластера с несколькими узлами), ваши данные должны быть реплицированы на нескольких datanodes. Вы можете проверить значение коэффициента репликации (dfs.replication) в hdfs-site.xml.
Итак, теперь, если вы удалите этот постоянный доступ для чтения из своего кластера и у вас есть коэффициент репликации более 1, вы не столкнетесь с потерей данных. Потому что ваш кластер будет иметь соответствующую реплику на другом datanode. Чтобы сбалансировать реплики, недореплицированные блоки будут обрабатываться hdfs автоматически, а впоследствии hdfs будет стабильным.