R: DocumentTermMatrix Неправильные частоты после mgsub

Question

У меня есть DocumentTermMatrix, и я хотел бы заменить определенные термины в этом документе и создать частотную таблицу.

Отправной точкой является исходный документ следующим образом:

library(tm) 
library(qdap) 

    df1 <- data.frame(word =c("test", "test", "teste", "hey", "heyyy", "hi")) 
    tdm <- as.DocumentTermMatrix(as.character(df1$word)) 

Когда я создаю таблицу частот исходного документа я получаю правильные результаты:

freq0 <- as.matrix(sort(colSums(as.matrix(tdm)), decreasing=TRUE)) 
freq0 

До сих пор так хорошо. Однако, если заменить некоторые термины в документе, то новая таблица частот получает неправильные результаты:

tdm$dimnames$Terms <- mgsub(c("teste", "heyyy"), c("test", "hey"), as.character(tdm$dimnames$Terms), fixed=T, trim=T) 
    freq1 <- as.matrix(sort(colSums(as.matrix(tdm)), decreasing=TRUE)) 
    freq1 

Очевидно или, возможно, некоторые индексирование в документе неправильно, потому что даже одни и те же термины не считаются идентичными, считая условия.

Этот результат должен быть идеальный случай:

df2 <- data.frame(word =c("test", "test", "test", "hey", "hey", "hi")) 
tdm2 <- as.DocumentTermMatrix(as.character(df2$word)) 
tdm2$dimnames$Terms <- mgsub(c("teste", "heyyy"), c("test", "hey"), as.character(tdm2$dimnames$Terms), fixed=T, trim=T) 
freq2 <- as.matrix(sort(colSums(as.matrix(tdm2)), decreasing=TRUE)) 
freq2 

Может кто-нибудь помочь мне выяснить проблему?

Thx заранее

Answer 1

Мы можем посмотреть на структуру as.matrix(tdm)

str(as.matrix(tdm)) 
#num [1, 1:5] 1 1 1 2 1 
# - attr(*, "dimnames")=List of 2 
# ..$ Docs : chr "all" 
# ..$ Terms: chr [1:5] "hey" "heyyy" "hi" "test" ... 

, который является одной строки, 5 матрица-столбец, поэтому colSums в основном ничего не делает.

xtabs(as.vector(tdm)~tdm$dimnames$Terms) 
#tdm$dimnames$Terms 
# hey heyyy hi test teste 
# 1  1  1  2  1 

и после того, как замена, используя mgsub

xtabs(as.vector(tdm)~tdm$dimnames$Terms) 
#tdm$dimnames$Terms 
# hey hi test 
# 2 1 3 

xtabs делает sum из vector. Это также может быть сделано с tapply

tapply(as.vector(tdm), tdm$dimnames$Terms, FUN = sum) 

---

Если число строк больше 1, то мы можем использовать colSums

tapply(colSums(as.matrix(tdm)), tdm$dimnames$Terms, FUN = sum) 
# hey hi test 
# 4 2 6 

Примечание: Приведенный выше вывод после того, как мы сделали изменения с