Использование медианы вместо среднего как функция агрегации в Spark

Question

Скажем, у меня есть информационный кадр, содержащий автомобили, их бренд и их цену. Я хотел бы заменить avg ниже по median (или другой процентиль):

df.groupby('carBrand').agg(F.avg('carPrice').alias('avgPrice')) 

Тем не менее, кажется, что нет никакой функции агрегации, что позволяет вычислить это Спарк.

Answer 1

Вы можете попробовать функцию approxQuantile (см. http://spark.apache.org/docs/latest/api/python/pyspark.sql.html#module-pyspark.sql.functions)