может ли процесс совместного использования одной и той же памяти GPU? (CUDA)

Question

В мире ЦП можно сделать это через карту памяти. Могут ли подобные вещи сделать для GPU?

Если два процесса могут совместно использовать один и тот же контекст CUDA, я думаю, что это будет тривиально - просто пройдите указатель памяти GPU. Можно ли использовать один и тот же контекст CUDA между двумя процессами?

Еще одна возможность, о которой я мог думать, - сопоставить память устройства с памятью с памятью. Так как это карта памяти, она может быть разделена между двумя процессами. Это имеет смысл/возможно, и есть ли накладные расходы?

Answer 1

CUDA MPS эффективно разрешает активность CUDA, исходящую от двух или более процессов, для совместного использования одного и того же контекста на графическом процессоре. Однако это не будет предусматривать того, что вы запрашиваете:

Может ли два процесса совместно использовать одну и ту же память GPU?

Один из способов достижения этого - через API CUDA IPC (interprocess communication).

Это позволит вам совместно использовать выделенную область памяти устройства (то есть область памяти, выделенную через cudaMalloc) между несколькими процессами. This answer содержит дополнительные ресурсы, чтобы узнать о CUDA IPC.

Однако, согласно моим испытаниям, это не позволяет совместно использовать регионы памяти, закрепленные хостом (например, регион, выделенный через cudaHostAlloc) между несколькими процессами. Сама область памяти может использоваться совместно с обычными механизмами IPC, доступными для вашей конкретной ОС, но она не может быть представлена ​​как «закрепленная» память в 2 или более процессах (согласно моему тестированию).