Как расширить ганглии?

Question

После установки ганглиев, веб-интерфейс просто показать основную метрическую информацию о диске, следующим образом:

Но в ганглии демо-сайте, please see here, это показывает много метрик диска iostat, следующим образом: Есть мой вопрос: как настроить ганглии для отображения этих показателей?

Я знаю, что на github есть много модулей ганглиев, но я не знаю, как его использовать. Я новичок в ганглиях, ты можешь сказать мне, как мне это делать? Большое спасибо.

Answer 1

2 шага, чтобы показать показатели искру в ганглиях:

1. Rebuild искру с поддержкой ганглиев

   Спарк пре-релиз не приходит с поддержкой ганглиев для выдачи лицензии Спарк в Apache 2.0 и ганглия LGPL.

   Обычно build/mvn -Pspark-ganglia-lgpl -Pother_profiles_to_enable -DskipTests clean package должно быть ОК, чтобы восстановить его самостоятельно, вы можете найти более подробную информацию о настройке искрообразование here

2. Настройка показателей с использованием conf/metrics.properties

   Я предлагаю читать Monitoring and Instrumentation и metrics configuration template первый.

   Система метрики делится на экземпляры, которые соответствуют внутренним компонентам. Каждый экземпляр может быть настроен так, чтобы сообщать свои показатели одному или нескольким приемникам. Принятыми значениями для [экземпляра] являются «мастер», «рабочий», «исполнитель», «драйвер» и «приложения».

   «sink» указывает, куда доставляются метрики. Каждому экземпляру может быть назначен один или несколько приемников.

ганглиев является одним из приемников, и вы можете настроить его следующим образом:

*.sink.ganglia.class=org.apache.spark.metrics.sink.GangliaSink 
*.sink.ganglia.host=239.2.11.71 
*.sink.ganglia.port=8636 
*.sink.ganglia.period=10 
*.sink.ganglia.unit=seconds 
*.sink.ganglia.ttl=1 
*.sink.ganglia.mode=multicast