Частота слов неточная после окончания текста

Question

Спасибо, что нашли время, чтобы прочитать мое сообщение. Новичок здесь и здесь - это мой первый скрипт R с некоторыми примерами данных.

library(tm) 
library(hunspell) 
library(stringr) 

docs <- VCorpus(VectorSource('He is a nice player, She could be a better player. Playing basketball is fun. Well played! We could have played better. Wish we had better players!')) 

input <- strsplit(as.character(docs), " ") 
input <- unlist(input) 
input <- hunspell_stem(input) 
input <- word(input,-1) 

input <- VCorpus(VectorSource(input)) 
docs <- input 

docs <- tm_map(docs, content_transformer(tolower)) 
docs <- tm_map(docs, removeWords, stopwords("english")) 
docs <- tm_map(docs, removePunctuation) 
docs <- tm_map(docs, stripWhitespace) 

dtm <- TermDocumentMatrix(docs) 
m <- as.matrix(dtm) 
sort(rowSums(m),decreasing=TRUE) 

Это возвращает следующие результаты:

character0 48 лучше 3 играть 3 баскетбол 1 Описание 1
весело 1 головка 1 час 1 язык 1 мета- 1 мин 1 хороший 1 происхождения 1 хорошо 1 хотят 1 год 1

Ожидаемые результаты:

лучше 3 игра 3 баскетбола 1 забава 1 язык 1 хорошей 1 хорошо 1 желания 1

Не знаю, где эти слова приходят из (character0, описания, мета, языка и т.д.), и если есть способ Избавься от них?

В основном то, что я пытаюсь сделать, это применить на корпусе (таблице данных SQL-сервера источника данных) с помощью hunspell и отобразить их в облаке слов позже. Любая помощь будет оценена по достоинству. GD

Answer 1

Вот почему пример ваш комментарий не удается:

library(tm) 
library(hunspell) 
hunspell_stem(strsplit('Thanks lukeA for your help!', "\\W")[[1]]) 
# [[1]] 
# [1] "thank" 
# 
# [[2]] 
# character(0) 
# 
# [[3]] 
# [1] "for" 
# 
# [[4]] 
# [1] "your" 
# 
# [[5]] 
# [1] "help" 

А вот один способ заставить его работать:

docs <- VCorpus(VectorSource('Thanks lukeA for your help!')) 
myStem <- function(x) { 
    res <- hunspell_stem(x) 
    idx <- which(lengths(res)==0) 
    if (length(idx)>0) 
    res[idx] <- x[idx] 
    sapply(res, tail, 1) 
} 
dtm <- TermDocumentMatrix(docs, control = list(stemming = myStem)) 
m <- as.matrix(dtm) 
sort(rowSums(m),decreasing=TRUE) 
    # for help! lukea thank your 
    # 1  1  1  1  1 

Это вернет первоначальный маркер, если нет стебля, и последний стебель, если есть несколько стеблей.