Запуск корреляций в SparkR: нет метода для принудительного применения этого класса S4 к вектору

Question

Я недавно начал использовать SparkR и хотел бы запустить с ним корреляционный анализ . Я могу загружать контент в виде SparkR dataframe, но он не позволяет запускать простой анализ cor() с фреймом данных. (Получение ошибки S4 ниже):

usr/local/src/spark/spark-1.5.1/bin/sparkR --packages com.databricks:spark-csv_2.10:1.0.3 

library(SparkR) 

setwd('/DATA/') 

Sys.setenv('SPARKR_SUBMIT_ARGS'='"--packages" "com.databricks:spark-csv_2.10:1.2.0" "sparkr-shell"') 

sqlContext <- sparkRSQL.init(sc) 

df <- read.df(sqlContext, "/DATA/GSE45291/GSE45291.csv", source = "com.databricks.spark.csv", inferSchema = "true") 

results <- cor(as.data.matrix(df), type="pearson") 

data.matrix (DF) Ошибка в as.vector (данные): нет способа принуждать этот класс S4 к вектору

Не существует встроенной корреляционной функции для SparkR? Как я могу исправить объект S4 для работы в R, где я могу выполнять базовые функции? Любые предложения люди оценены. Благодаря -Rich

Answer 1

Свечи < 1,6

Как я могу исправить объект S4 работать в R, где я могу выполнять базовые функции?

Вы просто не можете. Исходные кадры данных не являются заменой стандартного R data.frame. Если вы хотите, вы можете получить местный R data.frame, но большую часть времени это будет невозможно.

Вы можете использовать UDF для вычисления корреляции между отдельными столбцами. Сначала вы будете нуждаться в улей контексте:

sqlContext <- sparkRHive.init(sc) 

и фиктивный данные:

ldf <- iris[, -5] 
colnames(ldf) <- tolower(gsub("\\.", "_", colnames(ldf))) 
sdf <- createDataFrame(sqlContext, ldf) 

Далее вам необходимо зарегистрировать временную таблицу:

registerTempTable(sdf, "sdf") 

Теперь вы можете использовать SQL запрос типа это:

q <- sql(sqlContext, "SELECT corr(sepal_length, sepal_width) FROM sdf") 
head(q) 
##   _c0 
## 1 -0.1175698 

Spark> = 1.6

Вы можете использовать функцию cor непосредственно на DataFrame.