Logstash: отправить различные поля JSon для различных типов в Elasticsearch

Question

Я следующий формат данных JSON, что я посылаю к logstash например прослушивает HTTP конечной

{ 
    client: "c", 
    pageInfo: ["a","b","c"], 
    restInfo: ["r","s","t"] 
} 

Моя цель состоит в том, чтобы направить этот вклад конечная точка elasticsearch как два разных типа в одном и том же индексе; например

PUT elasticsearchhost:port/myindex/pageInfo 
     { client: "c", pageInfo: ["a","b","c"] } 

PUT elasticsearchhost:port/myindex/restInfo 
     { client: "c", restInfo: ["r","s","t"] } 

Я попытался с некоторыми фильтрами в logstash (сплит, мутировать, Grok), но я не могу понять, как выполнить это очень специфический раскол или если я должен изменить свою конфигурацию также в выходной секции

Answer 1

Для клонирования событий вам необходимо использовать clone, а затем изменить клоны.

Например:

filter { 
    clone { clones => ["pageInfo", "restInfo" ] } 
    if [type]=="pageInfo" { 
    mutate { 
     remove_field => "restInfo" 
    } 
    } 
    if [type] == "restInfo" { 
    mutate { 
     remove_field => "pageInfo" 
    } 
    } 
} 

А потом на вашем elasticsearch выходе, не забудьте включить document_type => "%{type}"