text2vec в R- Преобразование новых данных?

Question

Существует документация по созданию DTM (документ термин матрица) для пакета text2vec, например, следующие, где применяется TFIDF взвешивание после построения матрицы:

data("movie_review") 
N <- 1000 
it <- itoken(movie_review$review[1:N], preprocess_function = tolower, 
tokenizer = word_tokenizer) 
v <- create_vocabulary(it) 
vectorizer <- vocab_vectorizer(v) 
it <- itoken(movie_review$review[1:N], preprocess_function = tolower, 
tokenizer = word_tokenizer) 
dtm <- create_dtm(it, vectorizer) 
# get tf-idf matrix from bag-of-words matrix 
dtm_tfidf <- transformer_tfidf(dtm) 

Это обычная практика для создания DTM на основе в наборе учебных материалов и использовать этот набор данных в качестве входных данных для модели. Затем, когда встречаются новые данные (тестовый набор), необходимо создать тот же DTM для новых данных (что означает все те же термины, которые использовались в наборе обучения). Так или иначе, в пакете для преобразования нового набора данных таким образом (в scikit у нас есть метод преобразования только для этого типа экземпляра).

Answer 1

На самом деле, когда я начал text2vec я все, что трубопровод на первом месте. Теперь мы готовим новый релиз с обновленным documentation.

Для v0.3 должно работать:

data("movie_review") 
train_rows = 1:1000 
prepr = tolower 
tok = word_tokenizer 

it <- itoken(movie_review$review[train_rows], prepr, tok, ids = movie_review$id[train_rows]) 
v <- create_vocabulary(it) %>% 
    prune_vocabulary(term_count_min = 5) 

vectorizer <- vocab_vectorizer(v) 
it <- itoken(movie_review$review[train_rows], prepr, tok) 
dtm_train <- create_dtm(it, vectorizer) 
# get idf scaling from train data 
idf = get_idf(dtm_train) 
# create tf-idf 
dtm_train_tfidf <- transform_tfidf(dtm_train, idf) 

test_rows = 1001:2000 
# create iterator 
it <- itoken(movie_review$review[test_rows], prepr, tok, ids = movie_review$id[test_rows]) 
# create dtm using same vectorizer, but new iterator 
dtm_test_tfidf <- create_dtm(it, vectorizer) %>% 
    # transform tf-idf using idf from train data 
    transform_tfidf(idf)