Как я могу сгруппировать похожие типы предложений на основе их контекста и извлекать из них ключевые слова

Question

Я хотел, чтобы кластерные предложения основывались на их контексте и извлекали общие ключевые слова из похожих контекстных предложений.

Например 1. Мне нужно идти домой 2. Я ем 3. Он будет идти домой завтра 4. Он находится в ресторане

Приговоры 1 и 3 будет аналогичен с ключевым словом как пойти и домой, и, возможно, это синонимы, такие как путешествия и дом.

Предварительно существующие API будет полезен как с помощью IBM Watson как-то

Answer 1

Этот API на самом деле делает то, что вы точно просите (кластеризацию предложения + дают ключевые слова): http://www.rxnlp.com/api-reference/cluster-sentences-api-reference/

К сожалению, алгоритм, используемый для кластеризации и для генерации ключевых слов, не имеется.

Надеюсь, это поможет.

Answer 2

Вы можете использовать RapidMiner с Text Processing Extension.

Вставьте каждое предложение в отдельный файл и поместите его в папку.

Поместите операторов и сделайте дизайн, как показано ниже.

Нажмите кнопку «Обработать документы из файла» и на правой панели выберите «Редактировать список» в поле «Текстовые каталоги». Затем выберите папку, содержащую ваши файлы.

Двойной щелчок на документе «Документы процесса из файла», а в новом окне добавьте операторы, как показано ниже (только те, которые вам нужны).

Затем запустите процесс.