Как я могу нажимать статические log4j файлы журнала, которые я копирую из других систем вручную на свой сервер LogStash ELK?

Question

Я вручную копирую файлы с 3-х серверов на ежедневной основе. Из-за соображений безопасности я не могу настроить автоматический форвардер. Поэтому у меня есть 3 каталога srvapp1 srvapp2 и dbserver, и я копирую файлы вручную в эти папки. Как я могу нажать эти файлы в logstash? Есть ли инструмент для обновления файлов формы log4j формы app.log app.log.1 ...

Как я получаю эту работу и могу доказать силу и достоверность ElasticSearch // LogStash/Kibana Я могу быть в состоянии убедить руководство официально использовать это в коробках для производства/разработки.

Спасибо!

Answer 1

Решение вашей проблемы немного сложнее (ish). Экспедитор идеален, однако иногда это невозможно. Вот что я сделал (что прекрасно работает).

Вам нужно надежное соединение? Используйте rsync + ssh!

1. Настройте правила rsync, например. rsync папку журнала каждую минуту с флагом добавления. Вам придется протестировать вашу стратегию rsync, но это не должно быть слишком сложно.

Так что в вашем кронтаб вы можете сделать что-то вроде:

* * * * * rsync -avzi --stats -e 'ssh ...' --append-verify FROM_FOLDER TO_FOLDER 

Это добавит ваши имена файлов журналов безопасности от А до B. Таким образом, ваше копирование накладных расходов также является минимальным.

1. Настроить logstash с входным файлом, который находится в целевой папке для вашей команды rsync. Logstash автоматически загрузит все файлы и заметит все изменения. Все работает нормально.

2. Стандартизируйте свои имена. Logstash будет переписывать ваш файл журнала, если ваше приложение переименует его. То, как я решил, это настроить мой лог-приложение просто использовать уникальные имена. Вместо того, чтобы иметь my-log-file.log и переименовать его в полночь в my-log-file.log.XXXX.XX.XX, я просто использую шаблон даты в каждом файле с самого начала. Таким образом, Logstash не путается с репарацией.

Вышеупомянутое решение полностью автоматическое (поэтому больше не нужно ничего копировать вручную). Я надеюсь, что это поможет,

Artur