Java regex для сохранения ngrams в квадратных скобках

Question

Я немного новичок с Java regex, поэтому мне интересно, может ли кто-нибудь помочь, когда мне нужно регулярное выражение для разделения текста на основе ngrams. Так что, если у меня есть текст, как это:

dyson [salisbury matheson beaumont] clarke [carstairs morden] vaughan

Чтобы вернуть следующие ngrams:

Unigram: dyson Trigram: salisbury matheson beaumont Unigram: clarke Bigram: carstairs morden Unigram: vaughan

Содержимое квадратных скобок сохранившиеся в биграммах или триграммах?

Разделение будет основано на пробелах вне скобок.

Answer 1

Это довольно просто:

\w+|\[([\w\s]+)\] 

Demo

Объяснение:

• \w+ соответствует слову (ряд буквенно-цифровых символов или подчеркивания)
• или: \[([\w\s]+)\]
  • \[ соответствует [
  • [\w\s]+ соответствует ряд слов и пространств, это улавливается
  • \] соответствует ]

Если у вас есть захват, это означает, у вас есть что-то в скобках , иначе это означает, что у вас есть одно слово. Затем вы можете применить простое \w+ регулярное выражение к содержимому скобок, чтобы извлечь слова.

Чтобы использовать его в Java вы должны избежать обратных косых черт, чтобы передать их как есть в регулярных выражениях:

String pattern = "\\w+|\\[([\\w\\s]+)\\]";