tokenize разделители строк в Python

Question

Есть ли эквивалент str.split в Python, который также возвращает разделители?

Мне нужно сохранить пробельный макет для моего вывода после обработки некоторых токенов.

Пример:

>>> s="\tthis is an example" 
>>> print s.split() 
['this', 'is', 'an', 'example'] 

>>> print what_I_want(s) 
['\t', 'this', ' ', 'is', ' ', 'an', ' ', 'example'] 

Спасибо!

Answer 1

Как насчет

import re 
splitter = re.compile(r'(\s+|\S+)') 
splitter.findall(s) 

Answer 2

>>> re.compile(r'(\s+)').split("\tthis is an example") 
['', '\t', 'this', ' ', 'is', ' ', 'an', ' ', 'example'] 

Answer 3

re модуль обеспечивает эту функциональность:

>>> import re 
>>> re.split('(\W+)', 'Words, words, words.') 
['Words', ', ', 'words', ', ', 'words', '.', ''] 

(цитата из документации Python).

Для вашего примера (разделить на пробелы) используйте re.split('(\s+)', '\tThis is an example').

Ключ состоит в том, чтобы заключить регулярное выражение, по которому нужно разбить скобки. Таким образом, разделители добавляются в список результатов.

Редактировать: Как указано, любые предыдущие/конечные разделители, конечно, также будут добавлены в список. Чтобы этого избежать, вы можете сначала использовать метод .strip() в своей строке ввода.

Answer 4

Спасибо ребята за указание на re модуля, я все еще пытаюсь решить между этим и используя свою собственную функцию, которая возвращает последовательность ...

def split_keep_delimiters(s, delims="\t\n\r "): 
    delim_group = s[0] in delims 
    start = 0 
    for index, char in enumerate(s): 
     if delim_group != (char in delims): 
      delim_group ^= True 
      yield s[start:index] 
      start = index 
    yield s[start:index+1] 

Если у меня было время, я бы сравнить их xD

Answer 5

Вы посмотрели на pyparsing? Пример заимствован из the pyparsing wiki:

>>> from pyparsing import Word, alphas 
>>> greet = Word(alphas) + "," + Word(alphas) + "!" 
>>> hello1 = 'Hello, World!' 
>>> hello2 = 'Greetings, Earthlings!' 
>>> for hello in hello1, hello2: 
...  print (u'%s \u2192 %r' % (hello, greet.parseString(hello))).encode('utf-8') 
... 
Hello, World! → (['Hello', ',', 'World', '!'], {}) 
Greetings, Earthlings! → (['Greetings', ',', 'Earthlings', '!'], {})