spark schedulingMode

Question

Я создаю приложение Spark, в котором я отправляю несколько заданий (pyspark). Я использую тему запускать их параллельно, а также я устанавливаю: conf.set («spark.scheduler.mode», «FAIR»)

Тем не менее, я вижу задания выполняются последовательно в FIFO образом. Я что-то упустил?

EDIT: После записи в список Спарка рассылки, я получил пару вещей больше: FairSchedulingAlgorithm

• искры из не круговой: https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/scheduler/SchedulingAlgorithm.scala#L43
• Там нет упреждения, это означает, что даже с помощью планировщика .mode 'FAIR', вы не можете быть уверены, что каждый этап будет выполнен «бит». Планирование выполняется только тогда, когда доступны ресурсы (ядро).

Я был полностью отсутствует этот последний пункт

Answer 1

Видимо, искра не поддерживает многопоточность для всех видов работ. Вы можете подать заявку параллельно, если это искрообразование .

Внутри данного приложения Spark (экземпляр SparkContext) несколько параллельных заданий могут выполняться одновременно, если они были отправлены из отдельных потоков. Под «заданием» в этом разделе мы подразумеваем действие Spark (например, сохранение, сбор) и любые задачи, которые необходимо выполнить для оценки этого действия. Планировщик Spark полностью потокобезопасен и поддерживает этот вариант использования, чтобы включить приложения, которые обслуживают несколько запросов (например, запросы для нескольких пользователей).

, пожалуйста, следуйте этим link

Answer 2

Сколько исполнителей у вас есть?

Если у вас 1 исполнитель, то FIFO такой же, как FAIR.

Я говорю так, потому что по умолчанию автономный режим создает 2 исполнителя, а в режиме «кластера» вы должны взять 1 для драйвера и 1 для исполнителя.

Для выполнения 2 заданий в режиме кластера вам нужно 4 исполнителя.