Есть ли способ сделать так, как MPI_BARRIER в тензорном потоке?

Question

При выполнении распределенной асинхронной тренировки необходимо, чтобы все работники ожидали в какой-то момент синхронизации параметров модели, например, синхронизации после завершения эпохи и вычисления auc в наборе проверки.

MPI_BARRIER достаточно хорош при использовании MPI, есть ли что-то подобное в тензорном потоке?

Answer 1

Вы можете использовать общие переменные счетчика для реализации барьера. IE, после 3.6.4 из Little Book of Semaphores вы могли бы сделать что-то вроде этого

# N is number of workers 
def barrier(): 
    sess.run(counter_adder_ops[0]) 
    while sess.run(counter_vars[0]) % N != 0: 
     time.sleep(FLAGS.sleep_interval) 
    sess.run(counter_adder_ops[1]) 
    while sess.run(counter_vars[1]) % N != 0: 
     time.sleep(FLAGS.sleep_interval) 

во время тренировки

for i in range(FLAGS.iters): 
     barrier() 
     sess.run(sync_op) 
     barrier() 
     old_val, updated_val = sess.run([local_param_var, train_op]) 

Вот полный example , которая проходит через синхронизированный цикл обучения локально