tf-idf

0зной

1ответ

Обработка несовместимых форм матриц в tf-idf

Я пытаюсь сопоставить названия компаний двух разных фреймов данных df1 и df2. Я пытаюсь реализовать сходство tf-idf и косинус на двух столбцах - company1 в df1 и company2 в df2. from sklearn.feature_e

python pandas tf-idf cosine-similarity sklearn-pandas 2016-11-01

---

0зной

2ответ

python: проблема с памятью в кластеризации документов с использованием sklearn

Я использую TfIdfVectorizer для кластеризации документов. У меня 20 миллионов текстов, для которых я хочу вычислить кластеры. Но вычисление матрицы TfIdf занимает слишком много времени, и система заст

python scikit-learn cluster-analysis tf-idf 2016-11-03

---

2зной

1ответ

Kmeans: Условия, возникающие в нескольких кластерах?

Использование Kmeans с TF-IDF-вектором позволяет получать термины, встречающиеся в более чем одном кластере? Вот набор данных примеров: documents = ["Human machine interface for lab abc computer appli

python scikit-learn cluster-analysis k-means tf-idf 2016-11-10

---

3зной

1ответ

pyspark: редкие векторы к scipy разреженной матрице

У меня есть блок данных искры с колонкой коротких предложений и столбец с категориальной переменной. Я хотел бы выполнить tf-idf на предложениях, one-hot-encoding на категориальную переменную, а затем

apache-spark scipy pyspark tf-idf 2016-11-11

---

0зной

1ответ

Что возвращают TfidfVectorizer и SelectPercentile?

Я использую scikit-learn для классификации вопросов. У меня есть этот код: print(features[0], '\n') vectorizer = TfidfVectorizer(sublinear_tf=True, max_df=0.5, stop_words='english') fea

python machine-learning scikit-learn tf-idf feature-selection 2016-11-14

---

0зной

1ответ

Tf Idf не равны, когда тс в двух документах тот же

Позвольте мне сначала дать свое понимание меры TfIdf: TF (т) = (число раз термин т появляется в документе)/(Всего количество терминов в документе) IDF (т) = log_e (Общее количество документов/Количест

r tm tf-idf 2016-11-17

---

2зной

1ответ

преобразование scipy.sparse.csr.csr_matrix в список списков

Я изучаю классификацию нескольких ярлыков и пытаюсь реализовать учебник tfidf из изучения scikit. Я имею дело с текстовым корпусом для вычисления его балла tf-idf. Я использую модуль sklearn.feature_e

python machine-learning scipy scikit-learn tf-idf 2016-11-19

---

2зной

1ответ

набор данных для испытаний и поездов имеет различное количество функций

Я пытаюсь обучить модель svm по некоторым данным для обучения и тестирования. Программа хорошо работает, если я объединить данные испытания и обучения, но если я разделить их и проверить точность моде

python-3.x machine-learning scikit-learn svm tf-idf 2016-11-21

---