n-граммовое поколение для слов неанглийских языков

Question

Я исполняю генерацию Биграм для слов чешского языка. Я могу генерировать Bi-граммы с помощью Python. Проблема связана с неанглийскими символами на чешском языке.

Вход:

republikán strategii проти znovuzvolení Обамы.

Выполнение Биграммные, выход

[[ 'Republik \ xc3 \ xa1n', 'strategii'], [ 'strategii', 'проти'], [ 'проти', «znovuzvolen \ xc3 \ xad '], [' znovuzvolen \ xc3 \ xad ',' Obamy ']]

Специальные буквы чешского языка преобразуются как \ xc3 \ xad в bigram. Какие изменения необходимо выполнить с кодом для правильного ввода специальных букв на выходе

Answer 1

Данные верны, но при преобразовании списка в строку вывод готов с использованием repr для элементов списка, а не str. Сравнить:

>>> x = [['republikán']] 
>>> print(x) 
[['republik\xc3\xa1n']] 
>>> print(x[0]) 
['republik\xc3\xa1n'] 
>>> print(x[0][0]) 
republikán 
>>>