Упорядочить слова матрицы документов по частоте в R

Question

Прошу прощения за новый вопрос, но я новичок в разработке текста, и вам нужны советы по профилю. Теперь, после долгих мучений с content_transformer я иметь чистый корпус Следующий вопрос

1. How select from `dtm` the words with small frequencies , so that the amount of frequencies was not more than 1% 

Например я нужен этот формат

x 0,5% of all words in the dataset 
y 0,2% 
z 0,3% 

так здесь общей частоты сумма = 1% Как это сделать?

Answer 1

Вы можете ознакомиться с функцией termDocumentMatrix пакета tm. Это способ подсчета вхождения слов в документ. Добавление этих чисел по всему корпусу должно вести вас туда, где вы хотите быть.

dtm <- DocumentTermMatrix(corpus) 
# wordcounts for complete corpus 
counts <- colSums(as.matrix(dtm)) 

# number of documents 
nb <- length(counts) 
# frequencies 
freqs <- counts/nb