SQL-запрос, который может найти Typos на арабском языке

Question

Я хочу сделать словарь, и мне нужен запрос, который может найти слова с ошибкой (я имею в виду Typos/spelling error или typo), если запрос не смог найти точное слово затем попытаться получить с другим правописанием ...

Так что арабский: в арабском есть некоторые письма с (почти) же произношением, но разными буквами, люди иногда не знают, какой из них следует использовать. Например, есть 4 вида Z на арабском языке произношение "ز/ظ/ذ/ض" - разные (немного), но люди забудут, какой из них правильный. пример одного слова с различными использованием "г" письма:

مریز/مریض/مریظ/مریذ

Правильным является مریض

Вот другие миры, имеет более чем один последний:

z: ض/ز/ذ/ظ 

T: ت/ط/

S: ث/س/ص/

Gh: ق/غ 

Итак, что вы думаете об этом? Как должен быть запрос?

Я хочу, если бы пользователь искал «مریز» вместо того, чтобы показывать ему ошибку 404 (не найден), искать базу данных с другой буквой (все Z), а затем возвращать результат, если я что-то нашел.

Answer 1

На немецком языке мы имеем ту же проблему относительно t и tt или dt - особенно в именах.

Одним из способов приблизиться к этому было бы хранить дополнительный нормализованный столбец, содержащий имя/слово с фиксированным преобразованием.

tt -> t 
dt -> t 
ß -> s 
ss -> s 

Так таблица будет содержать

WORD | NORMALIZED 
schmitt | schmit 
schmidt | schmit 

Во время запроса, применять это же преобразование в запрос, а затем сравнить с нормированной колонкой.

Answer 2

Существует алгоритм, называемый Levenshtein distance (есть и другие), который сообщает расстояние редактирования между двумя строками.

Вы можете извлечь из этого, попробуйте найти наиболее похожие слова в словаре по сравнению с вашим вводом.

Позже вы можете назначить вес для замещений на основе буквенных кортежей, которые вы упомянули, чтобы уточнить ваш поиск.

На самом деле есть реализация для MySQL вы определенно должны проверить: https://www.artfulsoftware.com/infotree/qrytip.php?id=552
Большинство Левенштейн + MySQL вопросы здесь, в точке SO на эту страницу.

Answer 3

Простым решением будет использование регулярных выражений внутри аналогичного оператора. Для букв, которые могут быть написаны с ошибками, вы можете сохранять разновидности в шаблоне регулярного выражения. Для букв, соответствующих г шаблона является «[زذظض]» Вы можете заменить все ز, ذ, ظ, ض письмо с шаблоном, а затем запрос на аналогичное заявлении:

select * from searched_table where word like "%[مرى[زذظض%" 

Найдя все версии искомого слова, вы можете либо показать пользователю все, либо вы можете рассчитать расстояние levenshtein (ответ koshinae) и показать самые близкие слова.

Edit: только для буквы Z, запрос будет, как показано ниже

set @word = 'مرىض'; -- take this text from user 
set @word = replace(@word, 'ذ', 'Z'); 
set @word = replace(@word, 'ظ', 'Z'); 
set @word = replace(@word, 'ض', 'Z'); 
set @word = replace(@word, 'ز', 'Z'); 
set @word = replace(@word, 'Z', '[زظضذ]'); 
set @word = Concat('%', @word, '%'); 
select @word; 

select * from mydb.searchTable where word like @word;