Как сделать re.findall ('\ w +', fin.read()) для unicode? python

Question

Есть ли способ сделать следующее для текстовых файлов с символами Unicode, например. китайский/японский:

with io.open(infile, 'r', encoding='utf8') as fin: 
    words = re.findall('\w+', fin.read()) 
    x = Counter(zip(words,words[1:])) 
print x 

Я пытался, но x возвращает:

[] 

Answer 1

Как прокомментировал Ashwini Чаудхари, вам нужно указать re.U или re.UNICODE флаг для создания шаблона \w зависит от базы данных символов Юникода.

>>> re.findall('\w+', u'單語') 
[] 
>>> re.findall('\w+', u'單語', flags=re.UNICODE) 
[u'\u55ae\u8a9e'] 

Answer 2

Как предложил @Ashiwini, это сработало:

words = re.findall('\w+', trgfin.read(), flags=re.U) 
x = Counter(zip(words, words[1:])