Как кодирование источника применяется в строковых литералах?

Question

PEP-263 указывает, что кодировка указана в источнике применяется в следующем порядке:

1. read the file

2. decode it into Unicode assuming a fixed per-file encoding

3. convert it into a UTF-8 byte string

4. tokenize the UTF-8 content

5. compile it, creating Unicode objects from the given Unicode data and creating string objects from the Unicode literal data by first reencoding the UTF-8 data into 8-bit string data using the given file encoding

Итак, если я возьму этот код:

print 'abcdefgh' 
print u'abcdefgh' 

и преобразовать его в ROT-13:

# coding: rot13 

cevag 'nopqrstu' 
cevag h'nopqrstu' 

Я ожидаю, что он будет сначала декодирован, а затем станет идентичным оригиналу, печать:

abcdefgh 
abcdefgh 

Но вместо этого, он печатает:

nopqrstu 
abcdefgh 

Итак, unicode буквальные работает как expeced, но str остается непрореагировавший. Почему?

---

Упразднение некоторые возможности:

Я подтвердил, что проблема не в более позднем этапе (печать на консоль), но сразу же при разборе, becuase этот код производит «ValueError: неподдерживаемый формат символ «д» (0x71) с индексом 1":

x = '%q' % 1 # that is %d ! 

Answer 1

Я думаю, последняя точка на самом деле объясняет, что происходит довольно точно:

5. compile it, creating Unicode objects from the given Unicode data and creating string objects from the Unicode literal data by first reencoding the UTF-8 data into 8-bit string data using the given file encoding

После первых 4 шагов, содержимое исходного файла являются Разбивается на лексемы версии Юникода из следующей строки:

print 'abcdefgh' 
print u'abcdefgh' 

После этого, на этапе 5, объект Строка 'abcdefgh' является перекодировать в 8-битные данные строки, используя заданную кодировку файла (который rot13), поэтому содержимое стать:

print 'nopqrstu' 
print u'abcdefgh'