Инструменты мониторинга Logstash

Question

Мы настраиваем среду для logstash & эластичный поиск для анализа журналов. Моя аппаратная среда высока, даже несмотря на то, что производительность logstash медленная. Теперь наша цель - найти следующую область, где требуется много времени , фильтровать или выводить. Таким образом, мы решили пойти с мониторингом. У нас есть один вариант на данный момент - пойти с анализом дампа Java-потока. Это единственный способ или любые другие доступные варианты.

деталь Conf файл

input { 
    file { 
     path => ["home/**/*.log"] 
     start_position => beginning 
    } 

} 

filter {} 

output { 
    stdout { codec => rubydebug } 
    elasticsearch {} 
} 

Answer 1

Лична, возможно, не самый лучший способ, я проверял мою конфигурацию, запустив его на месте после снятия выходной секции и с помощью generator plugin. Также возможен другой вход (файлы, tcp, все, что возможно для использования точных данных).

Тогда я был изменения конфигурации по мере необходимости и выполнить следующую команду, чтобы увидеть различия: time java -jar logstash.jar agent -f conffile

из-за опыта, если заявления, а также подробный разбор взяли в добычу ресурсов, и я мог бы сохранить некоторые за счет оптимизации их (я не вижу здесь многого в вашем случае). Лично я сначала попытаюсь запустить его с блоком ruby ​​и без него, чтобы увидеть, есть ли это много ресурсов (не знакомы с тем, как появляется рубиновая часть).

Вы также можете проверить, выполняются ли задания параллельно (особенно с несколькими ядрами), по умолчанию в logstash используется только один рабочий (или используется для этого). Имейте в виду, что в некоторых случаях у нескольких работников могут быть неожиданные побочные эффекты (например, запуск статистики и т. Д., Не см. Здесь).