Как создать отчеты о существующих дампах журналов с помощью ELK?

Question

Используя стек ELK, можно ли генерировать отчеты о существующих дампах журналов?

Например: У меня есть 2 ГБ Apache журналов доступа, и я хочу, чтобы иметь отчеты панели показывает:

1. Все запросы с кодом состояния 400
2. Все запросы, с рисунком, как " GET http://example.com/abc/. * "

Оцените, любые ссылки на примеры.

Answer 1

Да, это возможно. Вы должны:

1. Установка и настройка стека ELK.
2. Установите filebeat, настройте его для сбора журналов и пересылки данных в журнал.

3. В logstash, слушать filebeat входа, используйте ГРКИ для обработки/разбить данные, и направить его elastichsearch что-то вроде:

   input { 
       beats { 
       port => 5044 
       } 
   } 
   
   filter { 
        grok { 
         match => { "message" => "%{COMMONAPACHELOG}" } 
        } 
   } 
   
   output { 
       elasticsearch { 
       hosts => ["localhost:9200"] 
       index => "filebeat-logstash-%{+YYYY.MM.dd}" 
       } 
   } 
   

4. В kibana, настроек ваших индексов и запросов для данных , например

   response: 400 
   
   verb: GET AND message: "http://example.com/abc/"