2016-08-29 2 views
1

У меня есть кадр данных и im, сохраняющий его в файл csv с помощью databricks.spark.csv, используя функцию сохранения в dataframe. Как я могу узнать, сколько созданных файлов создано (Spark делит файлы автоматически)Как узнать, сколько исправлений файлов создано после сохранения фрейма данных

+0

вы можете посмотреть количество задач в действии записи в искру ui. каждая задача переводится в файл –

+3

Это зависит от количества разделов. –

ответ

1

+1 для комментария anshul, вы можете просто использовать getNumPartitions, чтобы получить количество разделов этого rdd, и это будет число файлов номер.

BTW, для чего вам нужно знать номер сохраненного файла?