Есть ли способ получить «исходные» текстовые данные для OpenNLP?

Question

Я знаю, что этот вопрос задавали раньше - но ответ не был удовлетворительным (в смысле, что ответ был всего лишь ссылкой).

Итак, мой вопрос в том, есть ли способ расширить существующие модели openNLP? Я уже знаю о технике с DBPedia/Wikipedia. Но что, если я просто хочу добавить некоторые строки текста для улучшения моделей - действительно ли нет способа? (Если так - это было бы действительно глупо ...)

Answer 1

К сожалению, вы не можете. См. this question, в котором содержится подробный ответ на ту же проблему.

Я думаю, что это проблема, потому что, когда вы имеете дело с текстами, у вас часто возникают проблемы с лицензированием. Например, вы не можете построить корпус на основе данных Twitter и опубликовать его в сообществе (см. this paper для получения дополнительной информации).

Таким образом, часто компании строят специфические для домена корпорации и используют их внутри страны. Например, мы сделали это в нашем исследовательском проекте. Поэтому мы создали инструмент (Quick Pad Tagger) для эффективного создания аннотированных корпусов (см. here).

Answer 2

Хорошо, я думаю, для этого нужен отдельный ответ. Я нашел базу данных Яго: http://www.mpi-inf.mpg.de/departments/databases-and-information-systems/research/yago-naga/yago//

Эта база данных кажется просто фантастической (с первого взгляда). Вы можете загрузить все помеченные данные и поместить их в базу данных (они уже предоставляют инструменты для этого).

Следующим этапом является «рефакторинг» меченые объекты так, что OpenNLP может использовать его (OpenNLP использует н., Как это <START:person> Pierre Vinken <END>)

Затем вы создаете несколько текстовых файлов и обучать его с OpenNLP доставлен учебным пособием.

Не уверен, что 100% это будет работать, но я вернусь и скажу вам.