Группировка правил грамматики CFG предлог

Question

Ниже приведенных правил создаются для каждого предложения. Мы должны группировать их для каждого предложения. Вход в файл. Выход также должен быть в файле

sentenceid=2 

NP--->N_NNP 
NP--->N_NN_S_NU 
NP--->N_NNP 
NP--->N_NNP 
NP--->N_NN_O_NU 
VGF--->V_VM_VF 

sentenceid=3 

NP--->N_NN 
VGNF--->V_VM_VNF 
JJP--->JJ 
NP--->N_NN_S_NU 
NP--->N_NN 
VGF--->V_VM_VF 

sentenceid=4 

NP--->N_NNP 
NP--->N_NN_S_NU 
NP--->N_NNP_O_M 
VGF--->V_VM_VF 

В этом разделе содержится вход, который на самом деле является грамматикой для каждого предложения. Я хочу группировать смежные предложения правил. Результат должен быть следующим.

sentenceid=2 

NP--->N_NNP N_NN_S_NU N_NNP N_NNP N_NN_O_NU 
VGF--->V_VM_VF 

sentenceid=3 

NP--->N_NN 
VGNF--->V_VM_VNF 
JJP--->JJ 
NP--->N_NN_S_NU N_NN 
VGF--->V_VM_VF 

senetnceid=4 

NP--->N_NNP N_NN_S_NU N_NNP_O_M 
VGF--->V_VM_VF 

Как это реализовать? Мне нужно почти 1000 предложений для вычисления вероятности. Это грамматика CFG для каждого предложения, я хочу группировать смежные правила по правилам.

Answer 1

Как насчет этого: рассмотрение предложения осуществляется в разных файлах.

#!/usr/bin/python 

import re 
marker = '--->' 

def parse_it(sen): 
    total_dic = dict() 
    marker_memory = '' 
    with open(sen, 'r') as fh: 
     mem = None 
     lo = list() 
     for line in fh.readlines(): 
      if line.strip(): 
       match = re.search('(sentenceid=\d+)', line) 
       if match: 
        if mem and lo: 
         total_dic[marker_memory].append(lo) 
        marker_memory = match.group(0) 
        total_dic[marker_memory] = [] 
       else: 
        k,v = line.strip().split(marker) 
        k,v = [ x.strip() for x in [k,v]] 
        if not mem or mem == k: 
         lo.append((k,v)) 
         mem = k 
        else: 
         total_dic[marker_memory].append(lo) 
         lo = [(k,v)] 
         mem = k 
     #total_dic[marker_memory].append(lo) 
    return total_dic 

dic = parse_it('sentence') 
for kin,lol in dic.iteritems(): 
    print 
    print kin 
    for i in lol: 
     k,v = zip(*i) 
     print '%s%s %s' % (k[0],marker,' '.join(v)) 

Выход:

sentenceid=3 
VGF---> V_VM_VF 
NP---> N_NN 
VGNF---> V_VM_VNF 
JJP---> JJ 
NP---> N_NN_S_NU N_NN 
VGF---> V_VM_VF 

sentenceid=2 
NP---> N_NNP N_NN_S_NU N_NNP N_NNP N_NN_O_NU 
VGF---> V_VM_VF 

sentenceid=4 
VGF---> V_VM_VF 
NP---> N_NNP N_NN_S_NU N_NNP_O_M