регулярное выражение для сегментации - разбиение слов на морфемы или аффиксы

Question

Я пытаюсь получить список после сегментации слова в его составляющие, такие как суффиксы и префиксы (например, морфемы или аффиксы).

Я попытался использовать регулярные выражения, используя функцию re.findall.
(показано ниже)

>>> import re 
>>> affixes = ['meth','eth','ketone', 'di', 'chloro', 'yl', 'ol'] 
>>> word = 'dimethylamin0ethanol' 
>>> re.findall('|'.join(affixes), word) 

['di', 'meth', 'yl', 'eth', 'ol'] 

Однако мне нужны разделы, в которых она не соответствует должны быть включены. Например, в приведенном выше примере было бы желательно вывести:

['di', 'meth', 'yl', 'amin0', 'eth', 'an', 'ol']

Кто-нибудь знает, как извлечь эти сегменты в списке?

Answer 1

Вы можете использовать re.split() захвата «разделители»:

In [1]: import re 

In [2]: affixes = ['meth', 'eth', 'ketone', 'di', 'chloro', 'yl', 'ol'] 

In [3]: word = 'dimethylamin0ethanol' 

In [4]: [match for match in re.split('(' + '|'.join(affixes) + ')', word) if match] 
Out[4]: ['di', 'meth', 'yl', 'amin0', 'eth', 'an', 'ol'] 

Список постижение здесь отфильтровать пустые строки спичек.

Answer 2

import re 

affixes = ['meth','eth','ketone', 'di', 'chloro', 'yl', 'ol'] 
word = 'dimethylamin0ethanol' 

# found = ['amin0', 'an', 'di', 'meth', 'yl', 'eth', 'ol'] 
found = re.findall('|'.join(affixes), word) 

# not_found = [('', 'di'), ('', 'meth'), ('', 'yl'), ('amin0', 'eth'), ('an', 'ol')] 
not_found = re.findall(r'(.*?)(' + '|'.join(affixes) + ')', word) 

# We need to modify extract the first item out of each tuple in not_found 
# ONLY when it does not equal "". 
all_items = map(lambda x: x[0], filter(lambda x: x[0] != "", not_found)) + found 

print all_items 
# all_items = ['amin0', 'an', 'di', 'meth', 'yl', 'eth', 'ol'] 

Успение: Ваш окончательный список не требует определенного порядка.