filebeat отправляет журнал непосредственно на поиск эластичности не для logstash

Question

Перед этим стоит проблема, так как я удалил все индексы. Для этого я выполнил следующую команду

curl -XDELETE 'http://localhost:9200/*' 

filebeat.yml

filebeat: 
    prospectors: 
    - 
    paths: 
     - /var/log/syslog 
    - input_type : log 
     document_type: syslog 
    registry_file: /var/lib/filebeat/registry 
output: 
    logstash: 
    hosts: ["127.0.0.1:5044"] 
    bulk_max_size: 1024 

shipper: 
logging: 
    files: 
    rotateeverybytes: 10485760 # = 10MB 

и logstash файлы конфигурации ввода конфигурации

input { 
     beats { 
     port => 5044 
     } 
    } 

и выходной конфигурации

output { 
     elasticsearch { 
     hosts => ["localhost:9200"] 
     sniffing => true 
     manage_template => false 
     index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}" 
     document_type => "%{[@metadata][type]}" 
     } 
    } 

Проблема заключается в том, что журналы не являются c oming через logstash, они поступают напрямую, потому что я не вижу нового поля, добавленного в kibana, и в случае журнала apche-access существует только журнал как значение типа.

Answer 1

Вы можете просто синтаксической ошибки в вашем Filebeat конфигурации, попробуйте изменить

- input_type : log 

в

input_type : log 

что - может определенно испортить вашу конфигурацию, объявив второго искателя. Если вся ваша обработка логсташей выполняется по типу, то ваши неверно типизированные журналы сделают это для elasticsearch через logstash без обработки синтаксического анализа.

Answer 2

Как показывает ваш файл конфигурации, вы указали конфигурацию вывода elasticsearch. Итак, вывод, который вы получаете, не из-за elasticsearch, это должно быть из-за logstash. Вы добавили его в качестве комментариев, но это должно быть сделано:

elasticsearch: 
# Array of hosts to connect to. 
# Scheme and port can be left out and will be set to the default (http and 9200) 
# In case you specify and additional path, the scheme is required: http://localhost:9200/path 
# IPv6 addresses should always be defined as: https://[2001:db8::1]:9200 
    hosts: ["localhost:9200"]