Анализ данных с помощью fluentd

Question

Я пропустил работу elasticsearch, и я переправляю журналы с нескольких машин Unix, используя rsyslog (в основном, пересылку всех журналов).

Он отлично работает, за исключением того, что я не контролирую данные. Я хочу, чтобы иметь возможность отмечать определенные значения. Сейчас все в @message. Скажем, у меня есть журналы от apache, идущие на fluentd. Я хотел бы использовать Kibana для просмотра трафика (за каждый IP-адрес, тип файла, ответ и т. Д.).

Я не знаю, может ли это быть сделано в Кибане напрямую или оно должно быть проанализировано в fluentd. Как мне это сделать? Я видел примеры разных настроек журналов, но когда дело доходит до веб-серверов, все они заканчивают файл журнала. Я не могу этого сделать, потому что это удаленный сервер.

Кроме того, у меня есть разные услуги, из которых я хотел бы получить важную статистику (sql, web, mail ...).

Примечание: я пересылаю журналы с помощью rsyslog.

Answer 1

Я являюсь одним из обслуживающих сотрудников Fluentd.

Как вы думаете, вы можете поделиться своим файлом конфигурации Fluentd, а также пример строки из вашего журнала?

Кроме того, у меня есть разные услуги, из которых я хотел бы получить важную статистику (sql, web, mail ...).

• Для SQL, есть https://github.com/frsyuki/fluent-plugin-sql
• Для сети, вы можете использовать один из конкретных языков лесорубов (смотрите раздел Учебник по http://docs.fluentd.org)
• Для почты, я не в курсе плагин это еще не все. Я призываю вас расспросить наш список рассылки.

Answer 2

Для почты в этом районе работает alreay. https://gist.github.com/mikeda/d9f800c1a5aa73e125cb/raw/0a87cbbf4b49218fb7f97b3b9dc8cabfadbf9df6/in_maillog_tail.rb