Filebeat дублирующих события

Question

Я бег основных настроек стеки лосей с помощью Filebeat> logstash> elasticsearch> kibana - все на версию 5.2

Когда я удалить Filebeat и настроить logstash смотреть непосредственно на файл, он глотает правильный номер событий.

Если я удалю данные и повторно запустил файл с помощью Filebeat, чтобы передать одно и то же содержимое файла журнала в logstash, я получаю более 10% новых событий. Я проверил несколько из них, чтобы подтвердить, что дубликаты создаются с помощью filebeat.

Кто-нибудь видел эту проблему? или есть какие-либо соображения, почему это произойдет?

Answer 1

Мне нужно сначала понять, что вы понимаете, удалив файл beat !!

Возможность-1

если вы удалили и установить снова, то, очевидно, файл биений будет считывать данные с пути снова (который вы повторно заглатывании и разместить его в logstash-> elasticsearch-> kibana (при условии, старые данные не были удалены из упругого узла), следовательно, в дубликатах.

Возможность-2.

Вы просто перестали filebeat, сконфигурированный для logstash и перезапущен filebeat и может быть ваш файл реестра не был обновлен должным образом во время выключения (как вы знаете, файл бит читается по строкам и обновляет файл реестра e до той строки, которую она успешно опубликовала в logstash/elasticsearch/kafka и т. д., и если любой из этих выходных серверов сталкивается с любой трудностью, обрабатывая огромную нагрузку ввода, поступающей из файла filebeat, тогда filebeat ждет, пока эти серверы не будут доступны для дальнейшей обработки входных данных. доступны серверы вывода, filebeat считывает файл реестра и проверяет, до какой строки он опубликовал и начинает публикацию следующей строки).

Пример файла реестра будет как

{ 
"source": "/var/log/sample/sample.log", 
"offset": 88, 
"FileStateOS": { 
    "inode": 243271678, 
    "device": 51714 
}, 
"timestamp": "2017-02-03T06:22:36.688837822-05:00", 
"ttl": -2 
} 

Как вы можете видеть, он поддерживает метку времени в файле реестра. Итак, это одна из причин дублирования.

Для дальнейших ссылок, вы можете следовать ниже ссылки

https://discuss.elastic.co/t/filebeat-sending-old-logs-on-restart/46189 https://discuss.elastic.co/t/deleting-filebeat-registry-file/46112

https://discuss.elastic.co/t/filebeat-stop-cleaning-registry/58902

Надежда, что помогает.