В pyspark я читаю в очень большом каталоге, около 4 ТБ, и после его сопоставления, похоже, что потребуется несколько дней, чтобы сэкономить. Я не могу дождаться, но моя труба ломается в любом случае и
Я запускаю эту команду искры для запуска искровой программы Scala с использованием Hortonworks vm. Но как только работа будет завершена, она не выйдет из команды spark-submit, пока не нажмет ctrl + C.