wit.ai обработка слов с или без диакритики как синонимы

Question

Как обучить бота распознавать слова с диакритикой или без нее как синонимы, включена ли эта функция? например когда у меня есть слово (камера): foťák Я хотел бы, чтобы вас рассматривали как синоним fotak.

Бывают случаи, когда диакритики действительно имеют значение, а семантика может быть разной, и такие случаи я должен предоставлять слова в точном виде. Но моя цель - более легкая подготовка слов, в которых семантика не меняется.

Итак, я хотел бы вводить слова без диакритики и ожидать, что те же слова с диакритикой будут рассматриваться как синонимы. И только когда дело касается диакритики, я бы предоставил слова в такой форме, чтобы предотвратить путаницу. Возможно ли это?

Answer 1

Что вы ищете лемма https://en.wikipedia.org/wiki/Lemma_(morphology) https://pythonprogramming.net/lemmatizing-nltk-tutorial/