Декодирование с двойной кодировкой utf8 в Python

Question

У меня проблема со строками, которые я получаю от одного из моих клиентов по сравнению с xmlrpc. Он отправляет мне строки utf8, которые закодированы дважды :(Поэтому, когда я получаю их на python, у меня есть объект unicode, который нужно декодировать еще раз, но, очевидно, python этого не позволяет. Я заметил, что мой клиент мне нужен сделать быстрый обходной путь сейчас, прежде чем он фиксирует это

Raw строка из протокола TCP отвала:.

<string>Rafa\xc3\x85\xc2\x82</string> 

это превращается в:

u'Rafa\xc5\x82' 

лучший мы получаем:

eval(repr(u'Rafa\xc5\x82')[1:]).decode("utf8") 

Это приводит к правильной последовательности, которая:

u'Rafa\u0142' 

это работает, однако это некрасиво, как ад, и не может быть использовано в производстве код. Если кто-нибудь знает, как решить эту проблему более удобным способом, напишите. Спасибо, Крис

Answer 1

 
>>> s = u'Rafa\xc5\x82' 
>>> s.encode('raw_unicode_escape').decode('utf-8') 
u'Rafa\u0142' 
>>> 

Answer 2

Йоу, это было весело!

>>> original = "Rafa\xc3\x85\xc2\x82" 
>>> first_decode = original.decode('utf-8') 
>>> as_chars = ''.join([chr(ord(x)) for x in first_decode]) 
>>> result = as_chars.decode('utf-8') 
>>> result 
u'Rafa\u0142' 

Таким образом, вы делаете первое декодирование, получая строку Unicode, где каждый символ является фактически значением байта UTF-8. Вы переходите через целочисленное значение каждого из этих символов, чтобы вернуться к подлинной строке UTF-8, которую вы затем декодируете как обычно.

Answer 3

>>> weird = u'Rafa\xc5\x82' 
>>> weird.encode('latin1').decode('utf8') 
u'Rafa\u0142' 
>>> 

latin1 - это всего лишь аббревиатура от метода орехового ореха Ричи.

Очень любопытно, что серьезно недооцененный кодек raw_unicode_escape дает тот же результат, что и latin1. Всегда ли они дают одинаковый результат? Если да, то почему такой кодек? В противном случае было бы желательно точно знать, как именно OP-клиент выполнил преобразование от 'Rafa\xc5\x82' до u'Rafa\xc5\x82', а затем, чтобы точно отменить этот процесс, иначе мы могли бы отклеиться, если разные данные появятся до того, как будет установлена ​​двойная кодировка.