В чем преимущество тренировки Multi-GPU в TensorFlow?

Question

В this TensorFlow tutorial вы можете использовать N количество графических процессоров для распределения N мини-пакетов (каждый из которых содержит M обучающих образцов) для каждого графического процессора и вычисления градиентов одновременно.

Затем вы усредняете градиенты, собранные с N графических процессоров, и обновляете параметры модели.

Но это имеет тот же эффект, что и использование одного графического процессора для расчета градиентов выборок обучения N * M, а затем обновления параметров.

Таким образом, единственное преимущество, которое мне кажется, заключается в том, что вы можете использовать мини-пакет большего размера за такое же количество времени.

Но размер мини-партии большего размера обязательно лучше?

Я думал, что вы не должны использовать мини-пакет большого размера, чтобы сделать оптимизацию более устойчивой к точкам седла.

Если мини-пакет большего размера действительно не лучше, почему бы вам не заботиться об обучении с несколькими GPU или даже о многоуровневом обучении?

(Учебник выше, является синхронным обучением. Если это асинхронная обучение, то я могу увидеть достоинство, так как параметры будут обновляться без усреднения градиентов, рассчитанных по каждому GPU)

Answer 1

Основной цель для мульти -GPU-обучение позволяет вам тренироваться с большим набором данных за более короткое время. Это не обязательно лучше с более крупными мини-партиями, но по крайней мере вы можете закончить обучение в более подходящее время.

Точнее, эти мини-партии N не проходят обучение синхронно, если вы используете алгоритм асинхронного SGD. Поскольку алгоритм изменяется при использовании мульти-графического процессора, он не равен использованию мини-пакета размера MxN на одном GPU с алгоритмом SGD.

Если вы используете тренировку с несколькими GPU, преимущество в основном сводится к сокращению времени. Вы можете использовать мини-матч M/N для поддержания эффективного размера мини-партии, и, конечно же, масштабируемость ограничена, так как меньший размер мини-партии приводит к большему количеству накладных расходов. Обмен данными и синхронизация на большом количестве вычислительных узлов также являются катастрофами.

Чтобы решить проблему масштабируемости, люди переходят на A-SGD при одновременном использовании большого количества графических процессоров. Поэтому, вероятно, вы не увидите кого-то, кто использует синхронное обучение с несколькими GPU на сотнях (или даже десятков) графических процессоров.