кодек 'UCS-2' не может кодировать символы в позиции 1050-1050

Question

Когда я запускаю мой код Python, я получаю следующие ошибки:

File "E:\python343\crawler.py", line 31, in <module> 
    print (x1) 
    File "E:\python343\lib\idlelib\PyShell.py", line 1347, in write 
    return self.shell.write(s, self.tags) 
UnicodeEncodeError: 'UCS-2' codec can't encode characters in position 1050-1050: Non-BMP character not supported in Tk 

Вот мой код:

x = g.request('search', {'q' : 'TaylorSwift', 'type' : 'page', 'limit' : 100})['data'][0]['id'] 

# GET ALL STATUS POST ON PARTICULAR PAGE(X=PAGE ID) 
for x1 in g.get_connections(x, 'feed')['data']: 
    print (x1) 
    for x2 in x1: 
     print (x2) 
     if(x2[1]=='status'): 
      x2['message'] 

Как я могу это исправить?

Answer 1

Ваши данные содержат символы за пределами Basic Multilingual Plane. Например, Emoji находятся за пределами BMP, а оконная система, используемая IDLE, Tk, не может обрабатывать такие символы.

Вы можете использовать translation table отобразить все за пределами BMP в replacement character:

import sys 
non_bmp_map = dict.fromkeys(range(0x10000, sys.maxunicode + 1), 0xfffd) 
print(x.translate(non_bmp_map)) 

non_bmp_map отображает все кодовые вне BMP (любой элемент кода выше, чем 0xFFFF, вплоть до highest Unicode codepoint your Python version can handle) до U+FFFD REPLACEMENT CHARACTER:

>>> print('This works! \U0001F44D') 
This works! 
>>> print('This works! \U0001F44D'.translate(non_bmp_map)) 
This works! �