Google Cloud ML Loss in Recall: Распределенное обучение

Question

У меня есть две версии модели, обучаемые в Google Cloud ML, одна из которых состоит из двух рабочих и одна только с главными узлами. Однако после тренировки в распределенном режиме происходит значительное снижение отзыва. Я следовал примеры образцов, предусмотренных около 2000 шагов (рабочих и мастера и способствовать шагам)

Только Мастер

RECALL metrics: 0.352357320099 
Accuracy over the validation set: 0.737576772753 

Мастер и 2 Рабочие

RECALL metrics: 0.0223325062035 
Accuracy over the validation set: 0.770519262982 

Answer 1

Основная идея держать в ум заключается в том, что по мере увеличения числа рабочих вы также увеличиваете свой эффективный размер партии (каждый рабочий обрабатывает N примеров за шаг).

Для этого вам нужно будет отрегулировать другие гиперпараметры. Попытайтесь выбрать меньшую скорость обучения, чтобы уменьшить количество изменений за шаг. Следовательно, вам также может потребоваться увеличить количество шагов на определенный коэффициент, в зависимости от вашей модели и данных, чтобы достичь такой же конвергенции.