Я немного запутался в интерпретации выходных векторов word2vec! Если я хочу предсказать наиболее вероятное слово, которое появится после определенного слова (w1), могу ли я использовать самое ближайшее слово для w1? Я имею в виду, что слово, имеющее кратчайшее расстояние от w1, можно интерпретировать как следующее слово с наивысшей вероятностью?Как векторы вывода word2vec используются для вычисления сходства?
Если я хочу, чтобы предсказать наиболее вероятное слово, которое будет отображаться после определенного слова (w1),
Это называется язык моделирования
можно использовать самый ближайший слово до w1? Я имею в виду, что слово, имеющее кратчайшее расстояние от w1, можно интерпретировать как следующее слово с наивысшей вероятностью?
no: ближайшее слово w1 является самым семантически близким словом к w1.
Спасибо. Как насчет PMI? Может ли это отразить ожидаемую близость? –
это не вероятностный выход (совместный и т. Д.), Поэтому нет ссылки на PMI. – user3639557
Спасибо за ваш ответ. Я нашел документ, описывающий эквивалентность между сдвинутыми PMI и SGNS. «Внедрение нейронного слова как факторизация неявных матриц», О. Леви, Ю. Голберг, NIPS'14 –
Можете ли вы показать нам, что вы пробовали? – nakashu