Как сказать, если две статьи о том же инциденте из разных источников одинаковы с использованием ИИ?

Question

Как я могу сказать, что две статьи о одном и том же инциденте, но разные грамматически и логически одинаковы или различны.

Пример:

Случай 1:

• статья 1 (источник новостей 1): дефицит торгового баланса США идет вверх в этом финансовом

• статья 2 (источник новостей 2): Торговый дефицит США на подъеме

результат: Оба одинаковы

Случай 2:

• Статья 1 (источник новостей 1): Гарварде младших школьников в этом году.

• Статья 2 (источник новостей 2): вход в Гарвард становится более сложным для студентов в этом году.

результат: они разные.

Не словосочетание, но в целом. Если мы сможем сравнить смысл, это еще лучше. Какие концепции ИИ я использую, и если кто-то может поделиться некоторой информацией о том же, было бы полезно. Мне сказали, что обработка естественного языка может помочь. Пожалуйста помоги!!

PS: Пожалуйста, скажите мне, есть ли какой-то API с открытым исходным кодом для него.

Answer 1

Для начала ознакомьтесь с the Levenshtein distance или edit distance. Это может помочь вам создать меру, как «разные» две строки (или тексты).

Для сравнения на более высоком уровне вам необходимо принять во внимание семантику. Я думаю, что WordNet дает доступ к семантике слов, что может помочь вам сравнить слова. see example