Создать набор данных: извлечь функции из текстовых документов (TF-IDF)

Question

Я должен создать набор данных из некоторых текстовых файлов, называя их как векторы функций.

Что-то вроде этого:

doc1: 1,0.45 6,0.001 94,0.1 ... 

doc2: 3,0.5 98,0.2 ... 

... 

каждое положение вектора представляет собой слово, и оценка дается что-то вроде TF-IDF.

Знаете ли вы, какую библиотеку/инструмент/что-нибудь для этого? (java лучше)

Answer 1

mallet. включая TF-IDF, POS, классификацию.

Answer 2

Конечно, есть много например http://en.wikipedia.org/wiki/Lucene

Однако

Я рекомендую вам написать основную ИК-систему с нуля. Взгляд под капот всегда отличный опыт обучения.

Answer 3

Через несколько дней я нашел «идеальный инструмент» для этого: Word Vector Tool. http://sourceforge.net/projects/wvtool/