Python - визуализировать многомерные векторы Doc2Vec в 2D со словом класса sklearn

Question

Для простой оценки моей модели обучения Doc2Vec мне нужно преобразовать векторы 400-размерности в 2-мерные и визуализировать документы как набор узлов, где расстояние между любыми двумя узлами обратно пропорционально их подобию (узлы, которые очень похожи, близки друг к другу).

После некоторого поиска я нашел MDS (многомерное масштабирование) и библиотеку sklearn MDS.

Теперь у меня есть 2.2M векторы, каждый из которых имеет 400 измерений, и я не знаю, как передать их функции sklearn MDS в правильном синтаксисе с самой низкой стоимостью. Я знаю, что создать матрицу подобия между 2.2M векторами невозможно.

Answer 1

Для подобной задачи я обнаружил, что уменьшение размерности Doc2Vec (от 100 до 30 в нашем случае) было абсолютно важным для любой пространственной реконструкции при работе на Macbook Pro даже для относительно небольшого набора данных.

This был хорошей отправной точкой (хотя с уменьшением tSNE и устаревшими интерфейсами).