2017-02-21 31 views
0

Предположим, у меня есть следующие:Do Спарк tranformation и действия задачи работают на одной и той же сериализованном копии кода

rdd.mapPartition (Func). Когда это выполняется исполняемыми задачами внутри исполнителя, они получают только одну сериализованную копию функции или каждая задача получает одну копию?

Thanks

ответ

0

Каждая задача получает один экземпляр. Однако я бы не хотел, чтобы мои коды зависели от этого поведения.