Конфигурация Logstash redis не подталкивает журналы к ES

Мы используем стек ELK для мониторинга наших журналов. Я полностью новичок в среде ELK, недавно я работал над задачей, когда мне нужно настроить Logstash с помощью Redis, чтобы нажимать наши журналы,Конфигурация Logstash redis не подталкивает журналы к ES

ниже - это конфигурация, которую я использую, приведенная ниже конфигурация работает с ElasticSearch, но не работает работать с Redis,

input { 
    file { 
     path => "E:/Logs/**/*.log" 
     start_position => beginning 
     codec => json  
    } 
} 
filter { 
    date { 
     match => [ "TimeCreated", "YYYY-MM-dd HH:mm:ss Z" ] 
    } 
    mutate { 
     add_field => { 
      #"debug" => "true" 
      "index_prefix" => "logstash-app" 
     } 
    } 

} 
output { 
    #elasticsearch { 
     #local env 
     #hosts => ["localhost:9200"] 

     #preprod env 
     #hosts => ["elk.logs.abc.corp.com:9200"] 

     #prod env 
     #hosts => ["elk.logs.abc.prod.com:9200"] 

     #index => "logstash-app" 
    #} 
    redis { 
     #local env 
     #host => "localhost:5300" 

     #preprod env 
     host => "redis.logs.abc.corp.com" 

     #prod env 
     #host => "redis.logs.abc.prod.com" 

     data_type => "list" 
     key => "logstash" 
    } 

    if[debug] == "true" { 
     stdout { 
      codec => rubydebug 
     } 
     file { 
      path => "../data/logstash-app-%{+YYYYMMdd}.log" 
     } 
    } 
}

Я прокомментировал Elasticsearch, с эластичным поиска я могу просмотреть журналы в Kibana но с Redis я неспособен увидеть,

Может кто-нибудь указать мне, что не так я делаю ? как я мог отлаживать или увидеть, если мои журналы погружены правильно

источник

2016-12-12 user804401

ли вы видите ваши журналы в Redis? Когда-то в Redis вам нужно прочитать их и отправить на свой сервер Elasticsearch. Redis - это постоянный магазин, в котором хранятся ваши данные, пока вы его не прочитаете, у него нет тесной интеграции с ES, вам нужно сделать это. – Val

Я не уверен в этом, как я могу просмотреть свои журналы в Redis, здесь Redis находится на другом сервере? я должен войти в него? Если да, то как я могу увидеть журналы в redis? – user804401

Вы должны войти на свой сервер redis, а затем использовать инструмент '' redis-cli' (https://redis.io/topics/rediscli), чтобы начать изучение ваших данных. В любом случае отправка данных в Redis не будет автоматически синхронизировать его с вашим ES. – Val

На основании документации logstash plugin:

host должен быть array

redis { 
    #preprod env 
    host => ["redis.logs.abc.corp.com"] 
    data_type => "list" 
    key => "logstash" 
}

источник

2016-12-12 13:48:59 Dulguun

Конфигурация Logstash redis не подталкивает журналы к ES

ответ

Смежные вопросы