На сервере Windows у меня есть процесс FileBeat, который берет все мои журналы NCSA (HTTP-запросы в формате NCSA) и отправляет их в нашу базу данных redis (буфер, который используется после стек ELK).
У меня есть файл, содержащий объекты json, разделенные линией, а также данные не json (stderr stacktraces). {"timestamp": "20170104T17:10:39", "retry": 0, "level": "info", "event": "failed to download
Я уже использую стек ELK для обработки журнала. Теперь я планирую использовать Logstash для дросселирования входящих данных. Но, не уверен, как увеличить Logstash + дросселирование, если нагрузка увел