Как извлечь глаголы и все соответствующие наречия из текста?

Question

Используя ngram в Python, моя цель - найти глаголы и соответствующие им наречия из входного текста. Что я сделал:

Текст ввода: «Он говорит странно. Лошадь может бежать быстро. Там есть большое дерево. Солнце красивое. Место хорошо оформлено. Они странно говорят. Она бежит быстро. Она говорит greatly.Jack работает медленно «» код: -.

`finder2 = BigramCollocationFinder.from_words(wrd for (wrd,tags) in posTagged if tags in('VBG','RB','VBN',)) 
scored = finder2.score_ngrams(bigram_measures.raw_freq) 
print sorted(finder2.nbest(bigram_measures.raw_freq, 5))` 

Из моего кода, я получил результат: [('talking', 'greatly'), ('talking', 'weirdly'), ('weirdly', 'talking'),('runs','fast'),('runs','slow')] который является список глаголов и их соответствующих наречий.

Я ищу:

Я хочу, чтобы выяснить, глагол и все соответствующие наречия от этого. Например, ('talking'- 'greatly','weirdly),('runs'-'fast','slow')etc.

Answer 1

У вас уже есть список всех глаголов-наречий bigrams, поэтому вы просто спрашиваете, как их объединить в словарь, который дает все наречия для каждого глагола. Но сначала давайте заново создать биграммы в более прямом пути:

pairs = list() 
for (w1, tag1), (w2, tag2) in nltk.bigrams(posTagged): 
    if t1.startswith("VB") and t2 == "RB": 
     pairs.append((w1, w2)) 

Теперь на Ваш вопрос: Мы будем строить словарь с наречиями, которые следуют каждому глаголу. Я сохраню наречия в наборе, а не список, чтобы избавиться от дублирования.

from collections import defaultdict 
consolidated = defaultdict(set) 
for verb, adverb in pairs: 
    consolidated[verb].add(adverb) 

defaultdict обеспечивает пустой набор для глаголов, которые не видели раньше, поэтому нам не нужно проверять вручную.

В зависимости от деталей вашего назначения, вы также можете к случаю раз и lemmatize своих глаголов, так что наречия от «Вождения безрассудно» и «я осторожно поехал» записываются вместе:

wnl = nltk.stem.WordNetLemmatizer() 
... 
for verb, adverb in pairs: 
    verb = wnl.lemmatize(verb.lower(), "v") 
    consolidated[verb].add(adverb) 

Answer 2

Я думаю, что вы теряете информацию, необходимую для этого. Вам нужно каким-то образом сохранить данные о части речи, чтобы биграммы, такие как ('weirdly', 'talking'), могли обрабатываться корректно.

Возможно, что искатель bigram может принимать помеченные кортежи слов (я не знаком с nltk). Или, возможно, вам придется прибегать к созданию внешнего индекса. Если да, то, как это может работать:

part_of_speech = {word:tag for word,tag in posTagged} 
best_bigrams = finger2.nbest(... as you like it ...) 

verb_first_bigrams = [b if part_of_speech[b[1]] == 'RB' else (b[1],b[0]) for b in best_bigrams] 

Затем с глаголами впереди, вы можете превратить его в словарь или список-из-списков или что-то:

adverbs_for = {} 
for verb,adverb in verb_first_bigrams: 
    if verb not in adverbs_for: 
     adverbs_for[verb] = [adverb] 
    else: 
     adverbs_for[verb].append(adverb)