имеют Grok фильтр создавать вложенные поля в результате

Question

У меня есть Друпала сторожевой системный журнал файл, который я хочу, чтобы разобрать на по существу два вложенные полеи, системный журнал часть и часть сообщения, так что я получаю этот результат

syslogpart: { 
    timestamp: "", 
    host: "", 
    ... 
}, 
messagepart:{ 
    parsedfield1: "", 
    parsedfield2: "", 
    ... 
} 

Я попытался сделать пользовательский шаблон, который выглядит следующим образом:

DRUPALSYSLOG (%{SYSLOGTIMESTAMP:date} %{SYSLOGHOST:logsource} %{WORD:program}: %{URL:domain}\|%{EPOCH:epoch}\|%{WORD:instigator}\|%{IP:ip}\|%{URL:referrer}\|%{URL:request}\|(?<user_id>\d+)\|\|)

, а затем запустить match => ['message', '%{DRUPALSYSLOG:drupal}'}

, но я не получаю вложенный ответ, я получаю текстовый блок drupal: "ALL THE MATCHING FIELDS IN ONE STRING", а затем все совпадения отдельно, но не вложенные под drupal, а на том же уровне.

Answer 1

Да, это ожидается. Я не думаю, что есть способ создать вложенные поля с grok. Я подозреваю, что вам нужно будет использовать mutate filter, чтобы переместить их на место.

mutate { 
    rename => { 
     "date" => "[drupal][date]" 
     "instigator" => "[drupal][instigator]" 
     ... 
    } 
    } 

Если у вас есть много полей, это может быть более удобно использовать ruby filter. Это особенно верно, если вы префиксные поля Drupal, например. «Друпал.» - тогда вы должны написать фильтр, чтобы переместить все поля с этим префиксом в подполе с тем же именем.

Answer 2

На самом деле, вы можете сделать что-то подобное в шаблоне конфигурации

%{WORD:[drupal][program]} 

Это создаст объект JSON как

drupal:{ 
    program: "..." 
}