Стэнфордский NER с python NLTK терпит неудачу с строками, содержащими несколько «!!» s?

Question

Пусть это мой filecontent:

Когда они старше 45 лет !! Это определенно поможет Майклу Джордану.

Ниже приведен мой код для настроек маркировки.

st = NERTagger('stanford-ner/classifiers/english.all.3class.distsim.crf.ser.gz', 'stanford-ner/stanford-ner.jar') 
tokenized_sents = [word_tokenize(sent) for sent in sent_tokenize(filecontent)] 
taggedsents = st.tag_sents(tokenized_sents) 

я ожидал бы как tokenized_sents и taggedsents содержат одинаковое количество предложений.

Но вот что они содержат: "!"

for ts in tokenized_sents: 
    print "tok ", ts 

for ts in taggedsents: 
    print "tagged ",ts 

>> tok ['When', 'they', 'are', 'over', '45', 'years', 'old', '!', '!'] 
>> tok ['It', 'would', 'definitely', 'help', '.'] 
>> tagged  [(u'When', u'O'), (u'they', u'O'), (u'are', u'O'), (u'over', u'O'), (u'45', u'O'), (u'years', u'O'), (u'old', u'O'), (u'!', u'O')] 
>> tagged  [(u'!', u'O')] 
>> tagged  [(u'It', u'O'), (u'would', u'O'), (u'definitely', u'O'), (u'help', u'O'), (u'Michael', u'PERSON'), (u'Jordan', u'PERSON'), (u'.', u'O')] 

Это из-за наличия Doulbe в конце предполагаемого первого предложения. Должен ли я удалять двойные «!» S до использования st.tag_sents()

Как это разрешить?

Answer 1

Если вы следуете моему решению из другого вопроса, а не используете nltk, вы получите JSON, который должным образом разделит этот текст на два предложения.

Ссылка на предыдущий вопрос: how to speed up NE recognition with stanford NER with python nltk