с помощью findAssocs в R, чтобы найти часто встречающиеся слова с центральным термином

Question

Поскольку я работал с findAssocs в R, я понял, что функция фактически не забирает слова, которые встречаются вместе с найденным термином , через документов, но скорее, слова, которые возникают, когда часто искали поисковый термин.

Я попытался с помощью простой тестовый скрипт ниже:

test <- list("housekeeping bath towel housekeeping room","housekeeping dirty","housekeeping very dirty","housekeeping super dirty") 
test <-Corpus(VectorSource(test)) 
test_dtm<-DocumentTermMatrix(test) 
test_dtms<-removeSparseTerms(test_dtm,0.99) 

findAssocs(test_dtms,"housekeeping",corlimit = 0.1) 

И возвращающегося результат R является:

$housekeeping 
bath room towel 
    1  1  1 

Замечено, что слово «грязный» происходит в 3 из ряда 4 документа, по сравнению с возвращенными ключевыми словами, которые появляются только один раз во всех документах.

Кто-нибудь знает, что пошло не так в моем скрипте или если есть лучший способ сделать это?

Результат, который я хочу достичь, должен отражать слова, которые часто встречаются со словом поиска по всем документам, а не внутри конкретного документа. Я попытался объединить 4 документа в 1, но он не работает, поскольку findAssocs не работает с одним документом.

Любые советы?

Answer 1

Как насчет альтернативы, используя quanteda package? Он не налагает никаких тайных ограничений на возвращаемые корреляции и имеет много других опций (см. ?similarity).

require(quanteda) 

testDfm <- dfm(unlist(test), verbose = FALSE) 
## Document-feature matrix of: 4 documents, 7 features. 
## 4 x 7 sparse Matrix of class "dfmSparse" 
##  features 
## docs housekeeping bath towel room dirty very super 
## text1   2 1  1 1  0 0  0 
## text2   1 0  0 0  1 0  0 
## text3   1 0  0 0  1 1  0 
## text4   1 0  0 0  1 0  1 

similarity(testDfm, "housekeeping", margin = "features") 
## similarity Matrix: 
## $housekeeping 
## bath towel room very super dirty 
## 1.0000 1.0000 1.0000 -0.3333 -0.3333 -1.0000