контролируемый поиск ключевой фразы weka или другой инструмент

Question

Как использовать WEKA для поиска ключевых фраз с контролируемым medo.

я должен узнать модель для извлечения ключевой фразы, поэтому у меня есть корпус для обучения (для каждого документа в correspending файл, который содержит ключевые фразы или ключевые слова)

Также у меня есть Corpus для испытания на контролируемую модели (docuement без keyphrases file), поэтому модель должна выводить список ключевых фраз для каждого документа.

Мой вопрос заключается в том, чтобы ввести документ в WEKA, я должен добавить для каждого документа

@attribute док струнной

@data «Docu1 ............ " "Docu2 ............" ... .. "DocuN ............"

Теперь, как ввести файлы которые содержат th ключевых фраз для каждого документа, чтобы узнать из модели?

Answer 1

Сначала вам нужно выбрать, какие функции использовать: самый базовый алгоритм, основанный только на значениях tf-idf. https://code.google.com/p/kea-algorithm/ Но вы также можете расширить эту функцию своими «задачами». Например, первое появление фразы и т. Д. В этой статье вы можете найти некоторые возможные функции: http://www.aclweb.org/anthology/S/S10/S10-1040.pdf Чем вам нужно выбрать алгоритм машинного обучения и обучить его обучению набору данных и оценить его на своем тестовом наборе.