Добавление пользовательских стоп-слов в R tm

Question

У меня есть Корпус в R, используя пакет tm. Я подаю функция removeWords для удаления игнорируемых слов

tm_map(abs, removeWords, stopwords("english")) 

Есть ли способ, чтобы добавить свои собственные пользовательские стоп-слова в этот список?

Answer 1

stopwords просто предоставляет вам вектор слов, только c ombine свои собственные.

tm_map(abs, removeWords, c(stopwords("english"),"my","custom","words")) 

Answer 2

Вы можете создать вектор пользовательских игнорируемых слов & использовать подобное заявление:

tm_map(abs, removeWords, c(stopwords("english"), myStopWords)) 

Answer 3

Можно добавить свои собственные стоп-слова в список по умолчанию игнорируемых слов, которые пришли вместе с тм установки , Пакет «tm» поставляется со многими файлами данных, включая стоп-слова, и обратите внимание, что файлы стоп-логов поступают на многие языки. Вы можете добавлять, удалять или обновлять файл english.dat в каталоге стоп-слов.
Самый простой способ найти каталог стоп-слов - это поиск каталога «стоп-слов» в вашей системе через браузер файлов. И вы должны найти english.dat вместе со многими другими языковыми файлами. Откройте файл english.dat из RStudio, который должен включить редактирование файла - вы можете добавить свои собственные слова или отбросить существующие слова по мере необходимости. Это тот же процесс, если вы хотите редактировать стоп-слова на любом другом языке.

Answer 4

Сохраните ваши данные stop words в csv-файле (например: word.csv).

library(tm) 
stopwords <- read.csv("word.csv", header = FALSE) 
stopwords <- as.character(stopwords$V1) 
stopwords <- c(stopwords, stopwords()) 

Тогда вы можете применить custom words к своему текстовому файлу.

text <- VectorSource(text) 
text <- VCorpus(text) 
text <- tm_map(text, content_transformer(tolower)) 
text <- tm_map(text, removeWords, stopwords) 
text <- tm_map(text, stripWhitespace) 

text[[1]]$content