Зачем запускать потоковые исполнители в разное время?

Question

Я использую Спарк потокового 1.6, который использует Кафка в качестве источника

Моих входных аргументов заключаются в следующем:

num-executors 5 
num-cores  4 
batch Interval 10 sec 
maxRate   600 
blockInterval 350 ms 

Почему некоторые из моих исполнителей начинают позже, чем другой ??

Answer 1

Это не ИСПОЛНИТЕЛИ время начала, но задача время начала.

Это, скорее всего, связано с планированием местности. Spark отложил начало задачи, чтобы найти лучшего исполнителя для запуска этой задачи. Для получения дополнительной информации проверьте конфигурацию «spark.locality.wait» в Spark's documentation.