Привет, может кто-нибудь объяснить мне, нужен ли Apache Spark Standalone для HDFS?Необходимость искры HDFS
Если требуется, чтобы Spark использовал размер блока HDFS во время выполнения приложения Spark. Я имею в виду, что я пытаюсь понять, какова будет роль HDFS во время выполнения приложения Spark.
Документация Spark гласит, что параллелизм обработки контролируется через разделы RDD и исполнители/ядра.
Может кто-нибудь, пожалуйста, помогите мне разобраться.