Включение soundex/metaphone для неанглийских символов

Question

Я изучаю методы soundex, metaphone и другие методы поиска строк за последние несколько дней, и в моем понимании оба алгоритма хорошо работают при обработке неанглийских слов, транслитерированных на английский.

Однако требование, которое у меня было бы, было бы для такого поиска работать на оригинальных, непереводимых языках, вмещающих алфавиты, такие как немецкий, норвежский и даже кириллические алфавиты.

Есть ли алгоритмы поиска, способные полностью обрабатывать эти алфавиты? Или мне лучше использовать сторонние библиотеки полнотекстового поиска, такие как Lucene? Следовательно, вопрос тогда становится «делает ли Люцены неанглийскими алфавитами?»

Answer 1

Я не специалист в этой области, но ваши требования кажутся мне довольно трудными. Soundex был специально разработан для английских звуков, а также для персонажей. Я не думаю, что это будет хорошо работать для неанглийских языков. См. Например ответы на this related question.

Double-Metaphone является попыткой справиться с гораздо более сложными вариантами, чем Soundex или Metaphone, и был разработан для обработки неоднородностей на разных языках. Этого может быть достаточно для ваших нужд. На связанной странице есть список реализаций библиотек.

Поддержка других языков в Lucene основана на концепции Analyzers. Lucene поставляется с набором анализаторов для разных языков (хотя я не смог найти список по умолчанию), но качество может быть quite variable.

Answer 2

В Википедии есть несколько хороших ссылок, начиная с статьи Soundex. Я не знаю, существуют ли существующие библиотеки, предназначенные для работы с такими разнообразными языками.