Flink: Выполнение файла Jar в кластере Flink

Question

Я использую кластер flink с 9 диспетчерами задач на двух разных физических узлах. Когда я представляю банку Jobmanager (Master) Flink, что именно происходит с банкой. Я имею в виду, распространяется ли jar на все рабочие узлы или какая-то часть функции получает реплику всех рабочих узлов?

Я спрашиваю об этом, потому что, когда я пытаюсь запустить приложение, он выполняется локально успешно, но выдает ошибку сериализации на FlatMapFunction при условии запуска в кластере.

Answer 1

Job Manager обрабатывает прикладной код, разбивает его на задачи и подзадачи и отправляет их в один или несколько (в зависимости от задач параллелизма) слоты выполнения в менеджерах задач. От Флинка documentation:

Каждый рабочий (TaskManager) представляет собой процесс виртуальной машины Java, и может выполнить одну или несколько подзадач в отдельных потоках. Для того, чтобы контролировать, сколько задачи работник принимает, работник имеет так называемые слоты задачи (по крайней мере, один).]