Модель программирования cuda-mpi без GPUDirect

Question

Я использую кластер GPU без поддержки GPUDirect. Из этого briefing, следующий делается при передаче данных GPU по узлам:

1. GPU пишет возлагали sysmem1
2. копии CPU от sysmem1 до sysmem2
3. Infiniband копии драйверов с sysmem2

сейчас Я не уверен, является ли второй шаг неявным шагом при передаче sysmem1 через Infiniband с использованием MPI. Предполагая это, моя текущая модель программирования что-то вроде этого:

1. cudaMemcpy (hostmem, devicemem, размер, cudaMemcpyDeviceToHost).
2. MPI_Send (hostmem ...)

ли мое предположение выше верно и будет моя модель программирования работы, не вызывая проблемы связи?

Answer 1

Да, вы можете использовать CUDA и MPI независимо (т. Е. Без GPUDirect), точно так же, как вы описываете.

1. Переместить данные из устройства для размещения
2. передавать данные, как вы обычно бы, используя MPI

Вы могли бы быть заинтересованы в this presentation, который объясняет CUDA-осведомленный MPI, и приводит пример бок о бок на слайде 11 не-cuda MPI и CUDA-MPI