Использование анализатора Grok в Fluentd

Question

Я ищу способ анализа данных с помощью анализатора grok, но я, похоже, зациклен на том, как его использовать. Моя цель в том, что я хотел бы добавить дополнительные поля, используя фильтр grok, используя фильтр.

Что-то вроде:

<filter acme.**> 
    @type parser 
    key_name log 
    format grok 
    <parse> 
     <grok> 
      @type grok 
      grok_pattern grok_pattern %{TIMESTAMP_ISO8601:time_stamp}%{SPACE} 
     </grok> 
    </parse> 
</filter> 

Используя этот Fluend жалуется или предупреждает, что много материала не используется ..

• параметр '@type' в .... не используется.
• параметр «grok_pattern» в .. в разделе не используется

Ану кий о том, как использовать анализатор ГРОК в Fluentd с помощью фильтра?

Answer 1

Он работает со следующей конфигурацией с включенным фильтром фильтров Fluentd v0.12.29. <parse> раздел не доступен с v012.29. Он доступен с v0.14, но Fluentd v0.14.8 не включает плагин фильтра фильтров. См. https://github.com/fluent/fluentd/pull/1191

И ttps: //github.com/tagomoris/fluent-plugin-parser пока не поддерживает Fluentd v0.14.

<source> 
    @type dummy 
    tag dummy.log 
    dummy [ 
    { "message": "Oct 24 09:01:33 mymachine uim-toolbar[5831]: Theme parsing error: <data>:2:30: The style property GtkWidget:focus-line-width is deprecated and shouldn't be used anymore. It will be removed in a future version" }, 
    { "message": "Oct 24 09:01:33 mymachine uim-toolbar[5831]: Theme parsing error: <data>:3:27: The style property GtkWidget:focus-padding is deprecated and shouldn't be used anymore. It will be removed in a future version" }, 
    { "message": "Oct 24 09:01:33 mymachine uim-toolbar[5831]: Theme parsing error: <data>:2:30: The style property GtkWidget:focus-line-width is deprecated and shouldn't be used anymore. It will be removed in a future version" } 
    ] 
</source> 

<filter **> 
    @type parser 
    key_name message 
    format grok 
    grok_pattern %{SYSLOGTIMESTAMP:timestamp} %{SYSLOGHOST:host} %{SYSLOGPROG}: %{GREEDYDATA:message} 
</filter> 

<match **> 
    @type stdout 
</match> 

Смотрите также https://github.com/fluent/fluent-plugin-grok-parser/issues/23