Как тренировать 1000 нейронных сетей, используя GPU в Matlab одновременно?

все! Я пытался использоватьКак тренировать 1000 нейронных сетей, используя GPU в Matlab одновременно?

parfor i = 1 : 1000 
    net{i} = train(net_sample, x, t,'useGPU','yes'); 
end;

но это не удалось. Есть ли способ научить их одновременно? Есть ли какой-либо код для другого языка программирования для одновременного обучения нескольких сетей?

Для простого примера
давайте предположим, что у нас есть сеть, которая содержит 2 х 2 х 1 нейронов и принимает 10 входных поезд векторов 5 х 1.

источник

2017-01-28 user7484269

Как вы ожидаете, что у вас есть несколько вещей, пытающихся одновременно использовать * тот же самый GPU? – Suever

Какое сообщение об ошибке? Сколько ресурсов (ОЗУ) выполняет каждая сеть? – mpaskov

Suever, подумал я, Matlab может сделать некоторую оптимизацию автоматически. – user7484269

Если вы не более чем один GPU, есть просто нечего делать. Каждый работник вашего пула конкурирует за одни и те же ресурсы, и если ваша сеть будет чем-то более чем тривиально небольшим, GPU будет полностью использован, поэтому вы не сможете даже извлечь выгоду из использования MPS.

источник

2017-01-30 14:04:20

Но почему gpu используется для ускорения? Из-за множества чипов cuda, поэтому они могут быстрее вычислять некоторые параллельные операции. Я против? Опять же, предположим, что у нас есть 1000 сетей, которые содержат 2 x 2 x 1 нейрона и принимают 10 входных векторов поезда 5 x 1. Может ли GPU быть быстрее в этом случае? – user7484269

Joss Knight, вы когда-нибудь использовали другие языки для обучения нейронных сетей с использованием GPU? – user7484269

Tesla K40 имеет 2880 CUDA ядер, поэтому теоретически он может выполнять 2880 операций с плавающей запятой. Последний слой полностью подключен к AlexNet для выполнения 4 миллионов умножений на наблюдение. Таким образом, вы можете увидеть, как даже запуск одного входа через типичную нейронную сеть быстро полностью займет ваш GPU. В вашем примере сети с 4-мя нейронами вы правы, вы не полностью занимаете GPU. Если вы используете Linux, вы можете получить некоторую выгоду от использования MPS, как указано выше. –

Как тренировать 1000 нейронных сетей, используя GPU в Matlab одновременно?

ответ

Смежные вопросы