Каким образом пакеты данных тренировки распределяются среди работников в Tensorflow?

Question

Я запускаю распределенный тензор с примером CIFAR10 с до 128 рабочих и 1 сервером параметров.

Мне было интересно, определяет ли FLAGS.batch_size размер каждой партии, отправленной каждому работнику, или если этот FLAGS.batch_size определяет размер каждой партии, отправленной всем работникам?

Эта разница имеет последствия для производительности, поскольку разделение партии на слишком много рабочих может привести к слишком большому объему коммуникации и недостаточному вычислению.

Answer 1

Размер партии в распределенном примере CIFAR10 относится к размеру партии для каждого GPU.

(Но это хороший вопрос - некоторые из синхронных моделей относятся к нему как размер совокупной партии!)