Наилучший подход для свертки множества малых матриц с использованием CUDA

Question

Мне нужно предварительно выполнить несколько сверток с малыми матрицами и ядрами, и я надеялся, что использование многих процессоров GPU позволит мне как можно быстрее.

Проблема заключается в следующем: у меня много матриц (от 1000 до 10000) или относительно небольших размеров (~ 15x15 до 1x1 - как в скалярном) и определенное количество сверточных масок (от 20 до 1) , Мне нужна свертка всех матриц с каждой сверткой маской примера:

A; %5,000 matrices of size 10x10, A(i) = a 10x10 matrix 
B; 10 matrices of size 5x5, B(k) = a 5x5 matrix 
res(j)=conv(A,B(1)); %res(j) is the result of convolving all 5,000 
%matrices in A by the j'th kernel B(j) 

целью является вычислительным Рез (1), ..., Рез (10) как можно быстрее

Я хотел бы услышать предложения о том, как реализовать наиболее эффективный алгоритм. Свертка на основе FFT, вероятно, будет слишком медленной.

Каждая реализация, которую я видел до сих пор, предназначена для 2-й свертки, предназначенной для свертки двух больших матриц, в то время как мне нужно свертывать множество маленьких матриц.

Я знаю очень мало о программировании CUDA прямо сейчас, но я в процессе обучения.

Я надеялся выяснить это сам, но из-за ограничений во времени я вынужден просить совета, который может дать мне любой опыт, в то время как я узнаю, как кодировать в CUDA.

Спасибо!

p.s. любые указатели на реализацию, которая соответствует моим целям, более чем ценятся. Я ученик университета, и это для небольшого исследовательского проекта, поэтому ничего не нужно платить за ...

Answer 1

Я не претендую на то, чтобы дать окончательный ответ на ваш вопрос, но я бы просто хотел указать из нескольких вещей:

1. Как вы упомянули, первой возможностью было бы использовать подход БПФ. Проблема в этой строке заключается в том, что (исправьте меня, если я ошибаюсь) библиотека cuFFT в первую очередь предназначена для работы с большими матрицами, поэтому для плодотворного использования этого подхода будут разработаны алгоритмы FFT, эффективные для небольших матриц. Я просто хочу указать, что есть некоторые алгоритмы такого рода, см., Например, статью: Small Discrete Fourier Transforms on GPUs. У меня нет прямого опыта работы с БПФ CUDA на небольших матрицах указанного типа, но, возможно, это может быть интересно для вас, так как матрицы масок находятся в малом количестве (10), и поэтому вы можете «перерабатывать» свои БПФ для большое количество сверток (5000).
2. Если вы решили не использовать подход FFT, то, если у вас есть архитектура графического процессора с вычислительной способностью >=3.5, то динамический параллелизм может быть хорошим кандидатом для вычисления сверток. Если рассматривать оценку каждого свертка матричного элемента как интерполяция, то вы будете иметь интерполяционные проблемы размера 15x15 и динамического параллелизма может помочь, увидеть сообщение: Benefit of splitting a big CUDA kernel and using dynamic parallelism

Answer 2

Один подход заключается в использовании ArrayFire-х GFOR loop, который я работа над.

Вы можете плитка, как многие небольшие convolutions в один большой запуск ядра, как вы хотите, до тех пор, пока вы не бежите из памяти GPU, а именно:

array x = randu(5);  // the input 
array y = randu(m,5); // the output 
array f = constant(1,3); // the kernel 
gfor (array k, 0, m-1) { 
    y(span,k) = convolve(x,f); 
} 

Удачи!