Входной поток Kinesis в Logstash

Question

В настоящее время я оцениваю Logstash для наших потребностей в потреблении данных. Одним из вариантов использования является считывание данных из потока AWS Kinesis. Я попытался установить плагин logstash-input-kinesis. Когда я запускаю его, я не вижу, чтобы обработка журналов с помощью какого-либо события из потока. Мой logstash работает отлично с другими типами входов (tcp). Ошибка в журналах отладки. Он просто ведет себя так, как нечего обрабатывать. мой файл конфигурации:

input { 
    kinesis { 
     kinesis_stream_name => "GwsElasticPoc" 
     application_name => "logstash" 
     type => "kinesis" 
    } 
    tcp { 
     port => 10000 
     type => tcp 
    } 
} 

filter { 
    if [type] == "kinesis" { 
     json { 
      source => "message" 
     } 
    } 

    if [type] == "tcp" { 
     grok { 
      match => { "message" => "Hello, %{WORD:name}"} 
     } 
    } 
} 

output{ 
    if [type] == "kinesis" 
    { 
     elasticsearch{ 
      hosts => "http://localhost:9200" 
      user => "elastic" 
      password => "changeme" 
      index => elasticpoc 
     } 
    } 
    if [type] == "tcp" 
    { 
     elasticsearch{ 
      hosts => "http://localhost:9200" 
      user => "elastic" 
      password => "changeme" 
      index => elkpoc 
     } 
    } 
} 

Answer 1

Я не пробовал путь в журнале, но если вы работаете на AWS. Существует Kinesis Firehose в Elasticsearch проглатывание доступно как описано в http://docs.aws.amazon.com/firehose/latest/dev/basic-create.html#console-to-es

Вы можете увидеть, если это будет работать в качестве альтернативы для logstash

Answer 2

нам необходимо предоставить учетные данные AWS для доступа к услугам AWS для этой интеграции на работу ,

Вы можете найти то же самое здесь: https://github.com/logstash-plugins/logstash-input-kinesis#authentication