измерение семантической подобия 2 предложения

Question

Мне нужно измерить сходство между двумя предложениями. Например:

s1 = "she is good a dog " 
s2 = "she is nice a heel" 

мне нужно доказать, что "good" похож на "nice". Для существительных и глаголов меры сходства по пути работает как этот псевдо-код:

def get max : 
for loop 
(wn.synset ('dog ')).path_similarity(wn.synset ('animal')) 

Результат: .33, что высокое значение, то эти слова связаны, и я могу сказать, что это похоже. Но для наречий ("nice" и "good") значение .09 низкое!

Любые идеи?

Answer 1

Вы можете найти path_similarity для всех synsets из good затем выбрать макс:

>>> from nltk.corpus import wordnet as wn 
>>> n=wn.synsets('nice') 
>>> g=wn.synsets('good') 
>>> [i.path_similarity(n[0]) for i in g] 
[0.0625, 0.06666666666666667, 0.07142857142857142, 0.09090909090909091, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None] 

>>> max(i.path_similarity(n[0]) for i in g) 
0.09090909090909091 

Обратите внимание, что synsets слова содержат много формы слова как глагол, никто, прил, ... поэтому вам нужно выбрать правильный!

Кроме того, как другой выбор вы можете использовать wup_similarity:

>>> round(max(i.wup_similarity(n[0]) for i in g), 1) 
0.4 

Wu-Palmer Сходство: Возвращает счет, обозначающее, как похожи два слова чувства, основываясь на глубине двух чувств в таксономия и их младшего общего подсектора (наиболее специфический узел предка).

Подробнее о Synsets http://www.nltk.org/howto/wordnet.html