SparkR - Создание квантилей из столбца dataframe (числовой тип)

Question

Я изучаю SparkR для вычисления квантилей числового столбца в CSV-файле (находящемся в S3). Я могу разобрать CSV-файл и распечатать документы и получить доступ к столбцу. Но не уверен, как создавать квантили. Любая помощь будет оценена по достоинству.

PS: R имеет встроенную функцию для вычисления квантилей на встроенном фрейме данных (а не на фреймворке SparkR).

Answer 1

Если вы открыты для ответа Spark + R, не используя SparkR, вы можете использовать dplyr с базовым компонентом dplyr.spark.hive.

mtcars_db %>% mutate(q = quantile(mpg, .3)) 
Source: Spark at:localhost:10000 
From: <derived table> [?? x 12] 

    mpg cyl disp hp drat wt qsec vs am gear carb  q 
    (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) 
1 21.0  6 160.0 110 3.90 2.620 16.46  0  1  4  4 15.68 
2 21.0  6 160.0 110 3.90 2.875 17.02  0  1  4  4 15.68 
3 22.8  4 108.0 93 3.85 2.320 18.61  1  1  4  1 15.68 
4 21.4  6 258.0 110 3.08 3.215 19.44  1  0  3  1 15.68 
5 18.7  8 360.0 175 3.15 3.440 17.02  0  0  3  2 15.68 
6 18.1  6 225.0 105 2.76 3.460 20.22  1  0  3  1 15.68 
7 14.3  8 360.0 245 3.21 3.570 15.84  0  0  3  4 15.68 
8 24.4  4 146.7 62 3.69 3.190 20.00  1  0  4  2 15.68 
9 22.8  4 140.8 95 3.92 3.150 22.90  1  0  4  2 15.68 
10 19.2  6 167.6 123 3.92 3.440 18.30  1  0  4  4 15.68 
.. ... ... ... ... ... ... ... ... ... ... ... ... 

, где mtcars_db является TBL при поддержке таблицы искры SQL

Answer 2

Спарк 2.x поставляется с функцией approxQuantile. Если вы установите relativeError в ноль, он даст вам точные квантили.

> sdf <- SparkR::createDataFrame(mtcars) 
> quantiles <- approxQuantile(sdf, "mpg", c(0.5, 0.8), relativeError = 0.0) 
> quantiles 
[[1]] 
[1] 19.2 

[[2]] 
[1] 26 

Подробнее здесь: http://spark.apache.org/docs/latest/api/R/approxQuantile.html