получить код символа utf-8 с учетом кода символа shift-jis?

Question

В моей программе я получаю коды символов shift-jis как целые числа Python, которые мне нужно преобразовать в соответствующие коды символов utf8 (которые также должны быть в целых числах). Как я могу это сделать? Для ASCII у вас есть полезные функции ord()/chr(), которые позволяют вам преобразовать целое число в строку ASCII, которую вы можете легко преобразовать в unicode позже. Я не могу найти ничего подобного для других кодировок.

Использование Python 2.

EDIT: окончательный код. Спасибо всем:

def shift_jis2unicode(charcode): # charcode is an integer 
    if charcode <= 0xFF: 
     string = chr(charcode) 
    else: 
     string = chr(charcode >> 8) + chr(charcode & 0xFF) 

    return ord(string.decode('shift-jis')) 

print shift_jis2unicode(8140) 

Answer 1

Нет такой вещи, как «коды символов utf8 (которые также должны быть целыми)».

Юникод определяет «кодовые точки», которые являются целыми числами. UTF-8 определяет, как преобразовать эти кодовые точки в массив байтов.

So I думаю вы хотите, чтобы кодовые обозначения Юникода. В этом случае:

def shift_jis2unicode(charcode): # charcode is an integer 
    if charcode <= 0xFF: 
     shift_jis_string = chr(charcode) 
    else: 
     shift_jis_string = chr(charcode >> 8) + chr(charcode & 0xFF) 

    unicode_string = shift_jis_string.decode('shift-jis') 

    assert len(unicode_string) == 1 
    return ord(unicode_string) 

print "U+%04X" % shift_jis2unicode(0x8144) 
print "U+%04X" % shift_jis2unicode(0x51) 

(также: Я не думаю, что 8100 является допустимым кодом символа Shift-JIS ...)

Answer 2

Может быть, лучший способ сделать это, но так как других ответов пока нет, это вариант.

Вы можете использовать this table для преобразования Shift-JIS целых к точкам Юникода кода, а затем использовать unichr() для преобразования данных в объект Юникод Python, а затем преобразовать его из юникода в utf8 с помощью unicode.encode('utf-8').

Answer 3

def from_shift_jis(seq): 
    chars = [chr(c) if c <= 0xff else chr(c>>8) + chr(c&0xff) for c in seq] 
    return ''.join(chars).decode('shift-jis') 

utf8_output = [ord(c) for c in from_shift_jis(shift_jis_input).encode('utf-8')]