Увеличение размера диска HDFS в HDP 2.3 3 кластера узлов

Question

В 3-х узловой кластерной установке для POC моя 3-я нота - DataNode, объем дискового пространства составляет около 200 ГБ. В соответствии с виджетами использования HDFS для диска ambari мое текущее использование HDFS выглядит следующим образом:

DFS Used: 512.8 MB (1.02%); не используется DFS 8,1 ГБ (16,52%); остальные 40.4GB (82,46%)

Когда я ДФ -h, чтобы проверить размер диска я могу увидеть много места занимают TMPFS, как показано на следующем скриншоте:

Как я могу использовать это пространство для своей HDFS. Мой узел 3 имеет 200 ГБ пространства на жестком диске

Answer 1

Вы можете смонтировать раздел TMPFS .: например

sudo mount -t tmpfs -o size=32g tmpfs /mnt/dn-tmpfs/ 

Затем использовать этот смонтированный раздел в HDFS вы можете настроить его hdfs-site.xml в качестве каталога данных, например,

<property> 
    <name>dfs.datanode.data.dir</name> 
    <value>/grid/0,/grid/1,/grid/2,[RAM_DISK]/mnt/dn-tmpfs</value> 
</property> 

подробнее см: Choosing tmpfs (vs ramfs)

EDIT: Я не мог видеть, свойство 'datanode.data.dir' в моей установке ambari. Если вы хотите, его можно добавить с помощью графического интерфейса Ambari как:

HDFS -> Конфигурации -> Пользовательский hdfs-сайт -> Добавить свойство ...