TensorFlow - ускорение графического процессора только для обучения?

Question

Будет использовать ускорение GPU с TensorFlow, чтобы увеличить скорость только обучения моделей, а также поможет повысить скорость при использовании модели на данных.
Большинство руководств говорят только об использовании ускорения GPU для целей обучения.

Также будет ли он работать с любым из TensorFlow Models? Даже те, которые запускаются через скрипты оболочки?
Кроме того, он запускается по сценариям оболочки по умолчанию или требует явного кодирования, чтобы заставить его работать.

Answer 1

Это будет работать для обоих, и да, он должен сделать использование моделей быстрее, даже если не тренируется (если только модель не очень проста, а накладные расходы на ее размещение на графическом процессоре перевешивают стоимость исполнения.) Я действительно думаю, используя графический процессор менее необходимо для оценки модели. При частом тренировке данные собираются вместе, так что каждый шаг поезда содержит несколько прогонов модели. Также необходимо вычислить градиенты, которые занимают много времени и памяти. Весы также необходимо обновлять во время обучения. Поэтому просто сделать простой проход вперед намного быстрее. Я действительно думаю, что вы увидите выгоду, если вам понадобится сделать целую кучу проходов вперед.

Что касается запуска моделей тензорного потока через скрипты оболочки, я бы предположил, что если они тренируются на графическом процессоре, они также будут работать на графическом процессоре.