TF-IDF-векторный анализатор не работает лучше, чем countvectorizer (sci-kit learn

Question

Я работаю над проблемой классификации текста с несколькими метками с 10 ярлыками. Набор данных небольшой, + 7000 элементов и + -7500 ярлыков. Я использую python sci-kit learn и что-то странное пришло в результаты. В качестве базовой линии я начал использовать countvectorizer и на самом деле планировал использовать векторизатор tfidf, который, как я думал, будет работать лучше, но это не так. (0,76 против 0,65)

Я не могу окунуться в голову, почему это может быть так? Существует 10 категорий, один из которых называется Особенно это дает гораздо более высокую производительность при использовании tfidf.

Кто-нибудь знает, когда tfidf может выполнять хуже, чем считать?

Answer 1

Вопрос в том, почему бы и нет? Оба варианта - разные.

Каков ваш набор данных, сколько слов, как они помечены, как вы извлекаете свои функции? countvectorizer просто посчитайте слова, если он хорошо справится, пусть будет так.

Answer 2

Нет никакой причины, по которой idf предоставит больше информации для задачи классификации. Он хорошо работает для поиска и ранжирования, но для классификации необходимо собрать сходство, а не особенности.

IDF предназначен для определения сингулярности между одним образцом и остальной частью корпуса, то, что вы ищете, является особенностью между одним образцом и другими кластерами. IDF сглаживает сходство внутри кластерного TF.