Получить текущее количество разделов DataFrame

Question

Есть ли способ получить текущее количество разделов DataFrame? Я проверил DataFrame javadoc (искра 1.6) и не нашел для этого метода, или я просто пропустил его? (В случае JavaRDD есть getNumPartitions метод().)

Answer 1

Вы должны вызвать getNumPartitions() на основной RDD в DataFrame в, например, df.rdd.getNumPartitions().

Answer 2

преобразовать в РДУ затем получить длину перегородки

DF.rdd.partitions.length 

Answer 3

val df = Seq(
    ("A", 1), ("B", 2), ("A", 3), ("C", 1) 
).toDF("k", "v") 

df.rdd.getNumPartitions