2016-08-12 1 views
0

Привет, может кто-нибудь объяснить мне, нужен ли Apache Spark Standalone для HDFS?Необходимость искры HDFS

Если требуется, чтобы Spark использовал размер блока HDFS во время выполнения приложения Spark. Я имею в виду, что я пытаюсь понять, какова будет роль HDFS во время выполнения приложения Spark.

Документация Spark гласит, что параллелизм обработки контролируется через разделы RDD и исполнители/ядра.

Может кто-нибудь, пожалуйста, помогите мне разобраться.

ответ

0

Spark может работать без каких-либо проблем без использования HDFS, и, конечно же, он не требуется для основного исполнения.

Для контрольной проверки требуется некоторое распределенное хранилище (не обязательно HDFS) и полезно для сохранения результатов.

 Смежные вопросы

  • Нет связанных вопросов^_^