HDFS Визуализация распределения блоков

Question

Я пытаюсь создать визуализацию блочного распределения HDFS кластера.

Я планирую создать это с помощью Tableau, но задавался вопросом, какой вид визуализации мог бы дать вам представление о том, какие узлы нуждаются в повторной балансировке, а также эффективный способ получить данные журнала сервера в таблице?

Answer 1

Прежде чем инвестировать слишком много времени в это, вы можете взглянуть на проект с открытым исходным кодом Twitter HDFS-DU. Это обеспечивает представление об использовании на основе путей в файловой системе, а не в DataNodes в кластере, но, возможно, это все еще полезно для ваших требований.

Если цель состоит в том, чтобы идентифицировать узлы, нуждающиеся в перебалансировке, эта информация уже доступна на вкладке «Датаноды» веб-интерфейса NameNode. Вы также можете запустить hdfs dfsadmin -report, чтобы получить статистику использования для каждого узла в скрипте.

Если ни одно из указанных выше не соответствует вашим требованиям, и вам необходимо продолжить интеграцию информации в внешний инструмент отчетности, например Tableau, то полезной точкой интеграции может быть метрика JMX, отображаемая через HTTP в NameNode. Ниже приведен пример команды curl, которая запрашивает некоторые из этой информации из NameNode. Обратите внимание, в частности, на раздел LiveNodes, который содержит информацию о емкости каждого DataNode.

Дополнительная информация об этих показателях содержится в документации Apache Hadoop Metrics.

> curl 'http://127.0.0.1:9870/jmx?qry=Hadoop:service=NameNode,name=NameNodeInfo' 
{ 
    "beans" : [ { 
    "name" : "Hadoop:service=NameNode,name=NameNodeInfo", 
    "modelerType" : "org.apache.hadoop.hdfs.server.namenode.FSNamesystem", 
    "Threads" : 46, 
    "Version" : "3.0.0-alpha2-SNAPSHOT, rdf497b3a739714c567c9c2322608f0659da20cc4", 
    "Used" : 5263360, 
    "Free" : 884636377088, 
    "Safemode" : "", 
    "NonDfsUsedSpace" : 114431086592, 
    "PercentUsed" : 5.266863E-4, 
    "BlockPoolUsedSpace" : 5263360, 
    "PercentBlockPoolUsed" : 5.266863E-4, 
    "PercentRemaining" : 88.52252, 
    "CacheCapacity" : 0, 
    "CacheUsed" : 0, 
    "TotalBlocks" : 50, 
    "NumberOfMissingBlocks" : 0, 
    "NumberOfMissingBlocksWithReplicationFactorOne" : 0, 
    "LiveNodes" : "{\"192.168.0.117:9866\":{\"infoAddr\":\"127.0.0.1:9864\",\"infoSecureAddr\":\"127.0.0.1:0\",\"xferaddr\":\"127.0.0.1:9866\",\"lastContact\":2,\"usedSpace\":5263360,\"adminState\":\"In Service\",\"nonDfsUsedSpace\":114431086592,\"capacity\":999334871040,\"numBlocks\":50,\"version\":\"3.0.0-alpha2-SNAPSHOT\",\"used\":5263360,\"remaining\":884636377088,\"blockScheduled\":0,\"blockPoolUsed\":5263360,\"blockPoolUsedPercent\":5.266863E-4,\"volfails\":0}}", 
    "DeadNodes" : "{}", 
    "DecomNodes" : "{}", 
    "BlockPoolId" : "BP-1429209999-10.195.15.240-1484933797029", 
    "NameDirStatuses" : "{\"active\":{\"/Users/naurc001/hadoop-deploy-trunk/data/dfs/name\":\"IMAGE_AND_EDITS\"},\"failed\":{}}", 
    "NodeUsage" : "{\"nodeUsage\":{\"min\":\"0.00%\",\"median\":\"0.00%\",\"max\":\"0.00%\",\"stdDev\":\"0.00%\"}}", 
    "NameJournalStatus" : "[{\"manager\":\"FileJournalManager(root=/Users/naurc001/hadoop-deploy-trunk/data/dfs/name)\",\"stream\":\"EditLogFileOutputStream(/Users/naurc001/hadoop-deploy-trunk/data/dfs/name/current/edits_inprogress_0000000000000000862)\",\"disabled\":\"false\",\"required\":\"false\"}]", 
    "JournalTransactionInfo" : "{\"MostRecentCheckpointTxId\":\"861\",\"LastAppliedOrWrittenTxId\":\"862\"}", 
    "NNStartedTimeInMillis" : 1485715900031, 
    "CompileInfo" : "2017-01-03T21:06Z by naurc001 from trunk", 
    "CorruptFiles" : "[]", 
    "NumberOfSnapshottableDirs" : 0, 
    "DistinctVersionCount" : 1, 
    "DistinctVersions" : [ { 
     "key" : "3.0.0-alpha2-SNAPSHOT", 
     "value" : 1 
    } ], 
    "SoftwareVersion" : "3.0.0-alpha2-SNAPSHOT", 
    "NameDirSize" : "{\"/Users/naurc001/hadoop-deploy-trunk/data/dfs/name\":2112351}", 
    "RollingUpgradeStatus" : null, 
    "ClusterId" : "CID-4526ea43-52e6-4b3f-9ddf-5fd4412e322e", 
    "UpgradeFinalized" : true, 
    "Total" : 999334871040 
    } ] 
}