Может ли Sphinx обрабатывать формы нормализации Unicode?

Question

Я знаю настройку charset_table, чтобы разрешить U+00E9 -> e, который отобразит 'é' в 'e'. Однако если вместо U + 00E9 у вас есть U + 0065 U + 0301 (который является «разложенной» формой «é», которая является просто «e», за которой следует острый акцент), то Sphinx будет рассматривать U + 0301 как пробел и сломайте слово.

пример:

mysql> CALL KEYWORDS('Crème brûlée', 'recipes_rt', 1); 
+------+-----------+------------+------+------+ 
| qpos | tokenized | normalized | docs | hits | 
+------+-----------+------------+------+------+ 
| 1 | creme  | creme  | 3 | 3 | 
| 2 | brulee | brulee  | 2 | 2 | 
+------+-----------+------------+------+------+ 
2 rows in set (0.00 sec) 

mysql> CALL KEYWORDS('Crème brûlée', 'recipes_rt', 1); 
+------+-----------+------------+------+------+ 
| qpos | tokenized | normalized | docs | hits | 
+------+-----------+------------+------+------+ 
| 1 | creme  | creme  | 3 | 3 | 
| 2 | brule  | brule  | 0 | 0 | 
| 3 | e   | e   | 3 | 3 | 
+------+-----------+------------+------+------+ 
3 rows in set (0.15 sec) 

Что-то вроде нормализации NFKC Unicode здесь нужно, но я не вижу ни одного упоминания о том, что в документации.

Answer 1

Не знаете, как обращаться с ним «масштабируемо» (т.е. все формы), но, возможно, людей можно было бы сделать с помощью regexp_filter?

http://sphinxsearch.com/docs/current/conf-regexp-filter.html

regexp_filter = \%u0065\%u0301 => e 

---

Хотя, говорит, что, возможно, просто добавьте U + 0301 (и другие 'combining' символов) в ignore_chars? http://sphinxsearch.com/docs/current/conf-ignore-chars.html

Они исчезают оставляя за «этого нужно просто» обугленные без акцента (е)