Elasticsearch синонимы, чувствительные к регистру результаты

Question

Может ли кто-нибудь дать мне совет, что я делаю неправильно. Я пытаюсь настроить elasticsearch таким образом

{ 
    "settings" : { 
     "index" : { 
      "analysis" : { 
       "analyzer" : { 
        "synonym" : { 
         "type" : "custom", 
         "tokenizer" : "whitespace", 
         "filter" : ["en_US", "lowercase", "synonym"] 
        } 
       }, 
       "filter" : { 
        "synonym" : { 
         "type" : "synonym", 
         "synonyms_path" : "analysis/synonym.txt" 
        }, 
        "en_US" : { 
         "type" : "hunspell", 
         "locale" : "en_US", 
         "dedup" : true 
        } 
       } 
      } 
     } 
    }, 
    "mappings" : { 
     "jdbc" : { 
      "properties" : { 
       "Title" : { 
        "type" : "string", 
        "search_analyzer" : "synonym", 
        "index_analyzer" : "standard" 
       }, 
       "Abstract" : { 
        "type" : "string", 
        "search_analyzer" : "synonym", 
        "index_analyzer" : "standard" 
       } 
      } 
     } 
    } 
} 

Мой файл synonym.txt содержит

beer, ale, lager, cark ale 
Lithuania, Republic of Lithuania, Lithuanian 

Так что пришло время, чтобы попробовать мой анализатор:

http://localhost:9200/jdbc/_analyze?text=beer&analyzer=synonym&pretty=true 

Он работает как ожидается и вернет меня

{ 
    "tokens" : [ { 
    "token" : "beer", 
    "start_offset" : 0, 
    "end_offset" : 4, 
    "type" : "SYNONYM", 
    "position" : 1 
    }, { 
    "token" : "ale", 
    "start_offset" : 0, 
    "end_offset" : 4, 
    "type" : "SYNONYM", 
    "position" : 1 
    }, { 
    "token" : "lager", 
    "start_offset" : 0, 
    "end_offset" : 4, 
    "type" : "SYNONYM", 
    "position" : 1 
    }, { 
    "token" : "cark", 
    "start_offset" : 0, 
    "end_offset" : 4, 
    "type" : "SYNONYM", 
    "position" : 1 
    }, { 
    "token" : "ale", 
    "start_offset" : 0, 
    "end_offset" : 4, 
    "type" : "SYNONYM", 
    "position" : 1 
    } ] 
} 

Однако, запрашивая это:

http://localhost:9200/jdbc/_analyze?text=Lithuanian&analyzer=synonym&pretty=true 

вернуться бы только:

{ 
    "tokens" : [ { 
    "token" : "lithuanian", 
    "start_offset" : 0, 
    "end_offset" : 10, 
    "type" : "word", 
    "position" : 1 
    } ] 
} 

Любые советы?

Answer 1

В процессе анализа фильтры токенов применяются в указанном порядке. Итак, в приведенном выше случае «Литва» впервые преобразована в нижнюю букву «литовская». Поскольку файл синонимов не содержит эту версию токена, не происходит преобразований синонимов. Этот раздел в elasticsearch guide рассказывает об этом подробнее.

Есть два вы могли пути идти об этом в зависимости от случая использования либо изменить порядок маркеров фильтров в пользовательском анализаторе:

"synonym" : { 
     "type" : "custom", 
     "tokenizer" : "whitespace", 
      "filter" : ["en_US", "synonym","lowercase"] 
    } 

выше будет по-прежнему чувствителен к регистру, но преобразование будет согласуются с приведенным выше . synonyms.txt

Или вы можете сделать все синонимы в анализе/синониме.txt строчными и сохранить те же параметры анализатора, что и заданные в вопросе. Пример:

beer, ale, lager, cark ale 
    lithuania, republic of lithuania, lithuanian