Split Спарк DataFrame основан на состоянии

Question

мне нужно что-то похожее на функцию randomSplit:

val Array(df1, df2) = myDataFrame.randomSplit(Array(0.6, 0.4)) 

Однако мне нужно разделить myDataFrame на основе булева состояния. Имеются ли что-нибудь вроде следующего?

val Array(df1, df2) = myDataFrame.booleanSplit(col("myColumn") > 100) 

Я хотел был бы не делать два отдельных .filter звонки.

Answer 1

К сожалению DataFrame API не имеет такой способ, чтобы разделить условием вам придется выполнить два отдельных filter преобразования:

myDataFrame.cache() // recommended to prevent repeating the calculation 

val condition = col("myColumn") > 100 
val df1 = myDataFrame.filter(condition) 
val df2 = myDataFrame.filter(not(condition))