Spark Streaming: длинные очереди/активные партии

Question

может ли кто-нибудь указать, в чем причина этих активных партий, висящих там в течение многих недель и никогда не обрабатываемых? Большое спасибо.

Моей догадки недостаточно исполнителей, и больше работников/исполнителей решит проблему? Или Spark назначает приоритет для разных партий в своем планировщике задач?

Но ситуация здесь, очень недавние партии (конец июня) были обработаны успешно, но партии в мае все еще находятся в очереди.

Я только что проверил мою установку Спарк, планировщик политики FIFO

spark.scheduler.mode FIFO 

Answer 1

Оказывается, что главный узел является узким местом.

Главный узел не хватает памяти, а затем, возможно, планировщик не может обрабатывать достаточно быстро.

Решение: изменить главный узел, чтобы быть более мощным EC2 экземпляр