Logstash/ElasticSearch: недочеты для типа данных для поля

Question

Файлы журнала, которые я пытаюсь импортировать в Logstash, содержат поле, которое иногда выглядит как дата/время, а иногда нет. К сожалению, первое вхождение выглядело как дата/время, и кто-то (logstash или elasticsearch) решил определить поле как дату/время. При попытке импортировать более позднюю запись журнала, Elasticsearch имеет исключение:

Failed to execute [index ...] 
org.elasticsearch.index.mapper.MapperParsingException: Failed to parse [@fields.field99] 
at org.elasticsearch.index.mapper.core.AbstractFieldMapper.parse(AbstractFieldMapper.java:320) 
at org.elasticsearch.index.mapper.object.ObjectMapper.serializeValue(ObjectMapper.java:587) 
... 
Caused by: java.lang.IllegalArgumentException: Invalid format: "empty" 
at org.elasticsearch.common.joda.time.format.DateTimeFormatter.parseMillis(DateTimeFormatter.java:747) 
... 

Вопрос: Как сказать logstash/elasticsearch не определить это поле как дату/время? Я хотел бы, чтобы все поля из моего журнала (кроме одного поля явного времени) были определены как просто текст.

Вопрос: похоже, что logstash отказывается от попыток импортировать записи из файла журнала после просмотра этого, который elasticsearch генерирует исключение. Как я могу сообщить logstash игнорировать это исключение и продолжать пытаться импортировать другие записи из файла журнала?

Answer 1

Я сам нашел ответ на свой первый вопрос.

Прежде чем добавлять данные через Logstash, мне пришлось установить значения по умолчанию для Elasticsearch для обработки поля как «строка» вместо «date».

Я сделал это, создав defaults.js файл, как это:

{ 
    "template": "logstash-*", 
    "mappings": { 
     `"_default_"`: { 
      "dynamic_templates": [{ 
       "fields_template": { 
        "mapping": { "type": "string" }, 
        "path_match": "@fields.*" 
       } 
      }] 
     } 
    } 
} 

и говорить Elasticsearch использовать его перед добавлением каких-либо данных через Logstash:

локон -XPUT 'http://localhost:9200/_template/template_logstash/' -d @defaults_for_elasticsearch. js

Надеюсь, это поможет кому-то еще.