n-gram

0зной

1ответ

Какова вероятность вычисления в модели языка униграма?

Я создал модель языка юниграмм для реализации завершения предложения. У меня есть все слова с их числом вхождения. Я смущен тем, как их сравнить. Я бы подумал, что мне нужно рассчитать вероятность каж

python nlp n-gram sentence sentence-similarity 2016-05-01

---

1зной

5ответ

Найти наиболее часто встречающиеся слова в тексте в R

Может кто-нибудь помочь мне с тем, как найти наиболее часто используемые два и три слова в тексте с помощью R? Мой текст ... text <- c("There is a difference between the common use of the term phrase

r n-gram 2016-05-18

---

3зной

1ответ

Solr Shingle не отображается в отладочном запросе

Я пытаюсь использовать Solr для поиска точных совпадений по категориям в поиске пользователей (e.g. "skinny jeans" in "blue skinny jeans"). Я использую следующее определение типа: <fieldType name="sub

solr token n-gram solr-schema shingles 2016-05-25

---

1зной

1ответ

Как сохранить периоды внутри слова в униграммах? R quanteda

Я хотел бы сохранить двухбуквенные аббревиатуры в моей частотной таблице униграмм, которые разделены такими периодами, как «t.v.» и нас.". Когда я строю свою частотную таблицу униграмм с квандедой, пе

r nlp n-gram quanteda 2016-04-14

---

0зной

1ответ

Как запретить пунктуацию и пробелы внутри ngrams?

У меня есть вектор символов, как это: sent <- c("The quick brown fox jumps over the lazy dog.", "Over the lazy dog jumped the quick brown fox.", "The quick brown fox jumps over the lazy

r whitespace n-gram punctuation 2016-04-18

---

3зной

3ответ

Прогнозирование следующего слова text2vec в R

Я строю модель языка в R, чтобы предсказать следующее слово в предложении, основанное на предыдущих словах. В настоящее время моя модель представляет собой простую модель ngram с сглаживанием Kneser-N

r nlp n-gram text2vec 2016-04-21

---