tf: анализ текста idf в r

Question

с паровым кодом Я пытаюсь найти tfidf для каждого термина для всех документов, которые у меня есть в csv (200 000 документов), а затем я хочу сделать один столбец csv, который он будет содержать каждый член с tfidf, в неубывающем. Я стараюсь сделать небольшой образец, и я думаю, что он работает. положить на большой CSV Rstudio все разрушительно .. любые идеи?

#read text converted to csv 
myfile3 <- "tweetsc.csv" 
x <- read.csv(myfile3, header = FALSE) 
#make data frame 
x <- data.frame(lapply(x, as.character), stringsAsFactors=FALSE) 
# make vector sources 
dd <- Corpus(DataframeSource(x)) 
# from tm package conculate tfidf 
xx <- as.matrix(DocumentTermMatrix(dd, control = list(weighting = weightTfIdf))) 
#data frame from columns to rows decreasing 
freq = data.frame(sort(colSums(as.matrix(xx)), decreasing=FALSE)) 
write.csv2(freq, "important_tweets.csv") 

Answer 1

Не принуждайте TDM к матрице. Это, скорее всего, вызовет проблему с переполнением целых чисел с таким количеством документов. Пакет tm использует пакет slam для представления tdm/dtm. Он имеет некоторые функции для выполнения операций со строками или столбцами без принуждения к плотной матрице.

library(slam) 
#read text converted to csv 
myfile3 <- "tweetsc.csv" 
x <- read.csv(myfile3, header = FALSE) 
#make data frame 
x <- data.frame(lapply(x, as.character), stringsAsFactors=FALSE) 
# make vector sources 
dd <- Corpus(DataframeSource(x)) 
# from tm package conculate tfidf 
xx <- DocumentTermMatrix(dd, control = list(weighting = weightTfIdf)) 
#data frame from columns to rows decreasing 
freq = as.data.frame(sort(col_sums(xx), decreasing=FALSE) 
write.csv2(freq, "important_tweets.csv") 

Одно замечание: вы говорите, вы хотите вычислить «каждый член с его tfidf ...» tfidf специфичен для каждого термина в каждом документе. Суммирование tf-idf может не иметь значимой меры, поскольку оно затушевывает вес этого термина в данном документе.