Предупреждение поднят путем вставки 4-байтовое Юникода в MySQL

Question

Посмотрите на следующее:

/home/kinka/workspace/py/tutorial/tutorial/pipelines.py:33: Warning: Incorrect string 
value: '\xF0\x9F\x91\x8A\xF0\x9F...' for column 't_content' at row 1 
n = self.cursor.execute(self.sql, (item['topic'], item['url'], item['content'])) 

Строка '\xF0\x9F\x91\x8A, на самом деле представляет собой 4-байтовое Юникода: u'\U0001f62a'. Набор символов mysql - utf-8, но вставляя 4-байтовый юникод, он усекает вставленную строку. Я столкнулся с такой проблемой и нашел, что mysql под 5.5.3 не поддерживает 4-байтовый юникод, и, к сожалению, мой 5.5.224. Я не хочу обновлять mysql-сервер, поэтому просто хочу отфильтровать 4-байтовый unicode в python, я попытался использовать регулярное выражение, но не смог. Итак, любая помощь?

Answer 1

Если MySQL не может обрабатывать коды UTF-8 по 4 байта или более, вам придется отфильтровать все символы юникода по кодовому адресу \U00010000; UTF-8 кодирует кодовые точки ниже этого порога в 3 байта или меньше.

Вы можете использовать регулярное выражение для этого:

>>> import re 
>>> highpoints = re.compile(u'[\U00010000-\U0010ffff]') 
>>> example = u'Some example text with a sleepy face: \U0001f62a' 
>>> highpoints.sub(u'', example) 
u'Some example text with a sleepy face: ' 

В качестве альтернативы можно использовать .translate() function с таблицей отображения, которая содержит только None значения:

>>> nohigh = { i: None for i in xrange(0x10000, 0x110000) } 
>>> example.translate(nohigh) 
u'Some example text with a sleepy face: ' 

Однако создание таблицы перевода будет есть много памяти и потребуется некоторое время для генерации; это, вероятно, не стоит ваших усилий, поскольку подход к регулярному выражению более эффективен.

Все это предполагает, что вы используете скомпилированный питон UCS-4. Если ваш python был скомпилирован с поддержкой UCS-2, вы можете использовать только кодовые страницы до '\U0000ffff' в регулярных выражениях, и вы никогда не столкнетесь с этой проблемой в первую очередь.

Отмечу, что с MySQL 5.5.3 недавно добавленный utf8mb4 codec поддерживает полный диапазон Unicode.

Answer 2

Я думаю, вы должны использовать utf8mb4 сверку вместо utf8 и запустить

SET NAMES UTF8MB4 

после соединения с БД (link, link, link)

Answer 3

простой нормировки строки без регулярных выражений и перевод:

def normalize_unicode(s): 
    return ''.join([ unichr(k) if k < 0x10000 else 0xfffd for k in [ord(c) for c in s]])