У меня есть кадр данных и im, сохраняющий его в файл csv с помощью databricks.spark.csv, используя функцию сохранения в dataframe. Как я могу узнать, сколько созданных файлов создано (Spark делит файлы автоматически)Как узнать, сколько исправлений файлов создано после сохранения фрейма данных
1
A
ответ
1
+1 для комментария anshul, вы можете просто использовать getNumPartitions
, чтобы получить количество разделов этого rdd, и это будет число файлов номер.
BTW, для чего вам нужно знать номер сохраненного файла?
вы можете посмотреть количество задач в действии записи в искру ui. каждая задача переводится в файл –
Это зависит от количества разделов. –