Как можно записывать измерения в Stordford CoreNLP, такие как 5 дюймов, 5 дюймов, 5 дюймов, 5 дюймов

Question

Я ищу для съемки измерений с использованием Stanford CoreNLP. (Если вы можете предложить другой экстрактор, это тоже хорошо).

Например, я хочу найти 15кг, 15 кг, 15,0 кг, 15 килограмм, 15 фунтов, 15 фунтов и т.д. Но среди правил добычи CoreNLPs, я дон Для измерения не см.

Конечно, я могу сделать это с чистыми регулярными выражениями, но инструментарий может работать быстрее, и они предлагают возможность вырезать на более высоком уровне, например. для лечения гб и гигабайты вместе, и RAM и памяти как строительные блоки - даже без полного синтаксического разбора - как они строят большие блоки, как 128 ГБ RAM и 8 гигабайт памяти.

Я хочу, чтобы для этого был экстрактор, основанный на правилах, а не на основе машинного обучения), но не вижу его как часть RegexNer или в другом месте. Как мне это сделать?

IBM Named Entity Extraction может это сделать. Регулярные выражения работают эффективно, а не передают текст через каждый. И регулярные выражения объединяются для выражения значимых объектов, например, таких, которые объединяют все единицы измерения в единую концепцию.

Answer 1

Я не думаю, что система на основе правил существует для этой конкретной задачи. Однако с TokensregexNER это не должно быть сложно.Например, отображение типа:

[{ner:NUMBER}]+ /(k|m|g|t)b/ memory? MEMORY 
[{ner:NUMBER}]+ /"|''|in(ches)?/  LENGTH 
... 

Вы можете попробовать использовать ванильный TokensRegex, а также, а затем просто извлечь из соответствующего значения с захвата группы:

(?$group_name [{ner:NUMBER}]+) /(k|m|g|t)b/ memory? 

Answer 2

Вы можете создавать свои собственные данные обучения и соответственно маркировать необходимые измерения.

Например, если у вас есть предложение, как Jack weighs about 50 kgs

Так модель будет классифицировать ваш вклад как:

Джек, ЛИЦО
весит, O
о, O
50, MES
кг, MES

Где MES означает измерения.

Я недавно сделал данные по обучению для Stanford NER tagger по моей индивидуальной проблеме и создал для нее модель.

Я думаю, что для Stanford CoreNLP NER также вы можете сделать то же самое

Это может быть machine learning-based подход, а не rule-based подход