Я применил следующий код в наборе данных об авиационной доступности, доступный в R, который имеет некоторые недостающие значения. Я хочу, чтобы пропустить строки, которые имеют Nas библиотека (SparkR)
У меня есть скрипт R, работающий в локальной среде: каждая запись/строка подается в функцию func для выполнения некоторых вычислений. поэтому поток выглядит следующим образом. new <- lapply(old, func)
Я использую Спарк 1.5.1 Когда я делаю это df <- createDataFrame(sqlContext, iris)
#creating a new column for category "Setosa"
df$Species1<-ifelse((df)[[5]]=="setosa",1,0)
head(df)
вывод: нова
Я пытаюсь использовать glm на SparkR. Это пример из официальной документации Спарк df <- createDataFrame(sqlContext, iris)
# Fit a gaussian GLM model over the dataset.
model <- glm(Sepal_Length ~ S