Как воспроизвести UnicodeEncodeError?

Question

я получаю сообщение об ошибке в системе производства, что я не в состоянии воспроизвести в среде разработки:

with io.open(file_name, 'wt') as fd: 
    fd.write(data) 

Исключение:

File "/home/.../foo.py", line 18, in foo 
    fd.write(data) 

UnicodeEncodeError: 'ascii' codec can't encode character u'\xe4' in position 6400: ordinal not in range(128) 

Я уже пытался, но много странных символов в переменную data.

Но до сих пор я не смог воспроизвести UnicodeEncodeError.

Что должно быть в data, чтобы получить UnicodeEncodeError?

Обновление

python -c 'import locale; print locale.getpreferredencoding()' 
UTF-8 

Обновление2

Если я называть locale.getpreferredencoding() с помощью оболочки и с помощью веб-запроса, кодировка "UTF-8".

Я обновил обработку исключений в своем коде и зарегистрировал getpreferredencoding() с некоторых дней. Теперь это произошло снова (до сих пор я не могу заставить или воспроизвести это), а кодировка - «ANSI_X3.4-1968»!

Я понятия не имею, где эту кодировку получает набор ....

Это ставит мою проблему в другое направление. Оставляя этот вопрос бесполезным. Моя проблема сейчас: где изменится предпочтительная кодировка? Но это не часть этого вопроса.

Большое спасибо, для всех, кто

Answer 1

Вы полагаетесь на кодировку по умолчанию для платформы; когда эта кодировка по умолчанию не может поддерживать символы Unicode, которые вы пишете в файл, вы получаете исключение для кодировки.

От io.open() documentation:

encoding is the name of the encoding used to decode or encode the file. This should only be used in text mode. The default encoding is platform dependent (whatever locale.getpreferredencoding() returns), but any encoding supported by Python can be used.

Для вашей конкретной ситуации, по умолчанию, возвращаемый locale.getpreferredencoding() является ASCII, поэтому любой символ Unicode за пределами диапазона ASCII может вызвать эту проблему, U-0080 и выше.

Обратите внимание, что локаль взята из вашей среды; если это ASCII, это обычно означает, что языковой стандарт установлен на POSIX default locale, C.

Указывает кодировку в явном виде:

with io.open(file_name, 'wt', encoding='utf8') as fd: 
    fd.write(data) 

я использовал UTF-8 в качестве примера; то, что вы выбираете, полностью зависит от ваших вариантов использования и данных, которые вы пытаетесь выписать.

Answer 2

Оберните write в try/except и сохранить данные в бинарный файл - вы сможете увидеть, какие именно данные дает вам вопросы:

with io.open(file_name, 'wt') as fd: 
    try: 
     fd.write(data) 
    except UnicodeEncodeError: 
     with open('/path/to/save/error.bin', 'wb') as err: 
      err.write(data) 
     raise 

Answer 3

Я пытался это воспроизвести ошибка:

with open(filename, 'wt', encoding='ascii') as fd: 
    fd.write('\xa0') 

Traceback (most recent call last):
File "test.py", line 2, in fd.write('\xa0')
UnicodeEncodeError: 'ascii' codec can't encode character '\xa0' in position 0: ordinal not in range(128)