Spark - изменение параллелизм при выполнении

Question

У меня есть работа разделена на две части:

• Первая часть извлекает данные из HBase с использованием искровых
• seoncd часть вычисляет тяжелые ресурсоемкие алгоритмы ML

Проблема заключается в том, что с большим количеством исполнителей/ядер кластер HBase слишком агрессивно запрашивается, и это может привести к нестабильности производства. С слишком небольшим количеством исполнителей/ядер вычислений ML требуется много времени.

Поскольку количество экземпляров и ядер установлено при запуске, я хотел бы знать, есть ли способ уменьшить число исполнителей для первой части задания.

Я, очевидно, хотел бы избежать выполнения двух отдельных заданий, таких как Hadoop, с сериализацией дискретных дисков между этими двумя шагами.

Спасибо за вашу помощь

Answer 1

Я думаю dynamic allocation является то, что вы ищете. Это то, что вы можете использовать с искровым потоком.

Я думаю, вам, возможно, придется немного поработать с вашим размером RDD, чтобы сбалансировать прием данных и обработку данных, но в зависимости от вашего реального использования, это может быть действительно сложной задачей.