Классификация текста. Определение наиболее полезных слов при разграничении классов

Question

Возможно ли использовать tfidf (tfidfvectorizer в Python), чтобы выяснить, какие слова наиболее важны при попытке отличить между двумя текстовыми классами (то есть положительными или отрицательными чувства и т. д.)? Например, какие слова были наиболее важны для идентификации положительного класса, а затем отдельно, что было наиболее полезно для определения отрицательного класса?

Answer 1

Вы можете позволить scikit научиться делать свою тяжелую - обучить случайный лес на своем бинарном дереве, извлечь функции значение классификаторе в рейтинге и использовать его, чтобы получить самые важные слова:

clf = RandomForestClassifier() 
clf.fit(data, labels) 

importances = clf.feature_importances_ 
np.argsort(importances)[::-1] 

feature_names = vectorizer.get_feature_names() 
top_words = [] 

for i in xrange(100): 
    top_words.append(feature_names[indices[i]]) 

Заметим, что это расскажите только, какие самые важные слова - не то, что они говорят по каждой категории. Чтобы сказать, что каждое слово говорит о каждом классе, вы можете классифицировать отдельные слова и посмотреть, какова их классификация.

Другой вариант - взять все положительные/отрицательные образцы данных, удалить из них слово, которое вы пытаетесь понять, и посмотреть, как это влияет на классификацию образца.