C++ AMP медленно

Question

я следующий код в C++:

float Neuron::feedForward(std::vector<Neuron>& previousLayer){ 
float sum=0.0f; 
for(int i=0;i<(int)previousLayer.size();i+=1){ 
    sum+=previousLayer[i].getOutput()*weigths[i]; 
} 
output=Neuron::transferFunction(sum); 
return output; 

}; 

Это я преобразованного к этому:

float Neuron::feedForward(std::vector<Neuron>& previousLayer){ 
float sum=0.0f; 
extent<1> e((int)previousLayer.size()); 

std::vector<float> ops(previousLayer.size()); 
for (int i = 0; i<(int)previousLayer.size(); i += 1) { 
    ops[i] = previousLayer[i].getOutput(); 
} 

array_view<const float, 1>_outputs(e, ops); 
array_view<const float, 1>_weigths(e, weigths); 
array_view<float> _sum(e); 
_sum.discard_data(); 


parallel_for_each(e, [=](index<1> idx) restrict(amp) { 
    _sum[idx] = _outputs[idx] * _weigths[idx]; 

}); 

for (int i = 0; i < e[0]; i += 1) { 
    sum += _sum[i]; 
} 

output=Neuron::transferFunction(sum); 
return output; 

};

Теперь программа запускает код очень медленно. Не менее нескольких миллисекунд медленнее, но фактические секунды медленнее.

Я также попытался иметь сумму внутри кода AMP (только изменения):

array_view<float> _sum(1); 
_sum.discard_data(); 

... 

parallel_for_each(e, [=](index<1> idx) restrict(amp) { 
_sum[0] += _outputs[idx] * _weigths[idx]; 

});

... 

/*for (int i = 0; i < e[0]; i += 1) { 
sum += _sum[i]; 
} 
*/ 

output=Neuron::transferFunction(_sum[0]); 

Но, в конце концов, код таков: так медленно, что я бы быстрее с калькулятором руки. Теперь вопрос: зачем? Я думал, что если бы у меня был нейрон с 2000 весовыми коэффициентами, было бы здорово, если бы GPU вычислил все. Я что-то упускаю, или мне нужно изучать OpenCL или CUDA?

PS. Сливы действительно плохие. Как и требуется более 100 000 раз дольше (в то же время я могу вычислить 20 000 нейронных сетей десять раз, я могу вычислить 2 точно такие же сети, используя AMP).

Answer 1

Ваш код с использованием sum[0] почти наверняка даст неверные результаты, так как многие потоки обновляются одновременно sum[0].

Наивная реализация должна работать, но очень неэффективна, поскольку для перемещения данных на и с графического процессора имеется значительная накладная нагрузка, и вы делаете очень мало вычислений.

Однако, поскольку это должно быть так медленно, как вы говорите, кажется вероятным, что вы работаете на ускорителе WARP на CPU. Вы можете использовать следующий код, чтобы узнать, какие ускорители доступны.

https://ampbook.codeplex.com/SourceControl/latest#Samples/ShowAmpDevices/ShowAmpDevices.cpp

Что вы здесь делаете это сокращение. Существует много статей о том, как это сделать эффективно на графическом процессоре. Вы можете найти код C++ AMP, показывающий несколько различных реализаций здесь:

C++ AMP: Accelerated Massive Parallelism with Microsoft Visual C++ на CodePlex.

Они полностью объясняются в книге, которая идет с кодом.