Я хочу использовать cloudera для имитации задания Hadoop на одной машине (конечно, с большим количеством виртуальных машин). У меня есть 2 вопроса 1) Могу ли я изменить политику репликации HDFS в cloudera? 2) Могу ли я увидеть использование процессора каждой виртуальной машиной?Имитация Map-уменьшения с использованием Cloudera
Я узнал, что могу изменить политику репликации данных, изменив «ReplicationTargetChooser.java».
Вы можете использовать hadoop fs -setrep, чтобы изменить коэффициент репликации в любом файле. Кроме того, можно изменить коэффициент репликации по умолчанию, изменив hdfs-site.xml, добавив следующее: <property> <name>dfs.replication</name> <value>2</value> </property>
Вы должны войти в каждую коробку и использовать top, чтобы увидеть использование центрального процессора каждой виртуальной машины. В Hadoop нет ничего, что позволит вам это увидеть.
Спасибо. Но я не хочу менять коэффициент, который я хочу изменить, политику размещения данных. Я хочу сказать, что каждая реплика находится на том узле. например https://issues.apache.org/jira/browse/HDFS-385. – Sara
Вы спрашивали об этом раньше - это невозможно. Возможно, вам стоит попробовать расспросить о том, что вы на самом деле пытаетесь сделать, поэтому мы можем предложить правильный способ сделать это. –
Но в приведенной выше ссылке, похоже, решено! Я хочу изменить местоположение реплики данных, чтобы увидеть, как изменяется потребление энергии. – Sara