У меня есть язык BerkeleyLM model и вы хотите использовать его, чтобы получить вероятность в этой модели данного n-грамма (который исходит из предложения). Я тестировал оба метода, как указано ниже, н
Я пытаюсь использовать триграмму для следующего предсказания слова. Я смог загрузить корпус и определить наиболее распространенные триграммы по их частотам. Я использовал «ngrams», «RWeka» и «ТМ» паке
Мне удалось создать 2 списка из текстовых документов. Первый мой список би-грамм: keywords = ['nike shoes','nike clothing', 'nike black', 'nike white']
и список стоп-слов: stops = ['clothing','black
edit: Новый пакет text2vec отлично подходит и решает эту проблему (и многие другие) очень хорошо. text2vec on CRAN text2vec on github vignette that illustrates ngram tokenization У меня есть довольно