Компенсация вычислений Pyspark

Question

Я хочу использовать функцию pyspark.mllib.stat.Statistics.corr для вычисления корреляции между двумя столбцами объекта pyspark.sql.dataframe.DataFrame. corr Функция рассчитывает принять rdd из Vectors объектов. Как перевести столбец df['some_name'] в rdd из Vectors.dense объект?

Answer 1

Не должно быть необходимости в этом. Для численного можно вычислить корреляцию непосредственно с помощью DataFrameStatFunctions.corr:

df1 = sc.parallelize([(0.0, 1.0), (1.0, 0.0)]).toDF(["x", "y"]) 
df1.stat.corr("x", "y") 
# -1.0 

иначе вы можете использовать VectorAssembler:

from pyspark.ml.feature import VectorAssembler 

assembler = VectorAssembler(inputCols=df.columns, outputCol="features") 
assembler.transform(df).select("features").flatMap(lambda x: x) 

Answer 2

Хорошо, я понял это:

v1 = df.flatMap(lambda x: Vectors.dense(x[col_idx_1])) 
v2 = df.flatMap(lambda x: Vectors.dense(x[col_idx_2]))