скорректированный R2 учебного набора данных не является постоянным

Question

Я разделил весь набор данных на две части: один для обучения, а другой для testint.

Учебный набор данных содержит 70 наблюдений, а тестовый набор данных содержит 14 наблюдений. Моя модель имеет 1 числовую зависимую переменную и 5 числовых независимых переменных.

Я запускаю множественную регрессию с помощью набора учебных пособий, и каждый раз, когда я запускаю код для регрессии, значение скорректированного R2 в наборе учебных данных не было постоянным, но оно непрерывно менялось. Его значения варьировались от 60% до 70%.

Функция, которую я использовал для разделения данных, содержала функцию «sample» и «set.seed» в своем коде.

Мой вопрос ... в этом случае, как интерпретировать неизменные значения скорректированного R2 из набора учебных данных? Это нормально?

splitdf <- function(dataframe, seed=NULL) { 
    if (!is.null(seed)) set.seed(seed) 
    index <- 1:nrow(dataframe) 
    trainindex <- sample(index, trunc(length(index)/6)) 
    testset <- dataframe[trainindex, ] 
    trainset <- dataframe[-trainindex, ] 
    list(trainset=trainset,testset=testset) 
} 

splits <- splitdf(df, seed=1234) 
str(splits) 
my_train <- splits$trainset 
my_test <- splits$testset 

PS: модель удовлетворена всеми допущениями линейной регрессии.

Answer 1

Если вы используете одно и то же семя, ваш R2 не должен меняться.

#sim data 
set.seed(12) 
data <- data.frame(Y=rnorm(10),X1=rnorm(10),X2=rnorm(10),X3=rnorm(10)) 

#split data 
splits <- splitdf(data, seed=1234) 
my_train <- splits$trainset 
my_test <- splits$testset 
summary(lm(Y~X1+X2+X3,my_train))$r.squared 
#[1] 0.3922881 

#split again using same seed...get same results 
splits <- splitdf(data, seed=1234) 
my_train <- splits$trainset 
my_test <- splits$testset 
summary(lm(Y~X1+X2+X3,my_train))$r.squared 
#[1] 0.3922881 

#split using different seed...get different results 
splits <- splitdf(data, seed=5555) 
my_train <- splits$trainset 
my_test <- splits$testset 
summary(lm(Y~X1+X2+X3,my_train))$r.squared 
#[1] 0.7948203