sparkr

1зной

2ответ

Ссылка на два отдельных DataFrames в операциях SparkR

Я пытаюсь разбить DataFrame (DF), B на два разных (по строкам) подмножества. Я сначала sample DF, чтобы произвести новый DF, который включает прибл. половина строк от B. Затем я пытаюсь filter на DF с

0зной

2ответ

Append столбца значений NA: освещенный() и withColumn() дает ошибку

Я пытаюсь добавить столбец нулевых значений в SparkR DataFrame со следующим кодом: w <- rbind(3, 0, 2, 3, NA, 1) z <- rbind("a", "b", "c", "d", "e", "f") x <- rbind(3, 3, 3, 3, 3, 3) d <- cbind.da

0зной

1ответ

SparkR - Ошибка в as.double (х): не может принуждать типа «S4» вектор типа «двойной»

Я хочу, чтобы получить некоторые описательные статистические данные о моем кадре данных: # Initialize SparkR Contexts library(SparkR) # Load library sc <- sparkR.init(master="local[4

1зной

1ответ

Преобразование ddply в R в функцию sparkR

У меня есть кадр данных df с миллионами строк. Я использую ddply с пользовательской функцией udf. res <- ddply(df, c("id"),function(x){udf(x)} Это работает довольно хорошо, но это очень медленно (эт

4зной

2ответ

Spark 2.0.0: SparkR CSV Import

Я пытаюсь прочитать файл csv в SparkR (работает Spark 2.0.0) - & пытается поэкспериментировать с недавно добавленными функциями. Использование RStudio здесь. Во время «чтения» исходного файла появляет

0зной

1ответ

Как конвертировать SparkR DataFrame в РД

Я знаю, как преобразовать текстовый файл в РДУ с SparkR: data <- textFile(sc, "data/tsv_wiki") Но я хотел бы знать, как преобразовать объект типа DataFrame в R для РДА , Любая помощь будет оценена п

0зной

2ответ

Почему countDistinct/n_distinct в столбце SparkR не работает?

Я хочу, чтобы рассчитывать отдельные элементы столбца SparkR (из более dataframe SparkR): df$col1 1 2 2 5 6 5 различные элементы: 1,2-5,6 Когда я пытаюсь countDistinct на моем SparkR колонке,