Могу ли я использовать в RDMA через Infiniband Load/Store доступ с GPU2-Core до GPU1-RAM в разных PCIe-Bus?

Question

Как здесь сказано: https://developer.nvidia.com/gpudirect я могу получить доступ из GPU0-Core к GPU1-RAM на том же PCIe Bus:

• Load/Store,
• cudaMemcpy()

Он назван как «NVIDIA GPUDirect v2 Связь между одноранговыми (P2P) между GPU на одной шине PCIe (2011) »:

И я могу использовать RDMA через Infini группа скопировать из GPU2-RAM в GPU1-RAM на различных PCIe Bus, он назван как "Поддержка GPUDirect ™ для RDMA, Введен с CUDA 5 (2012)":

Но я могу использовать в RDMA на отличается PCIe Bus подключен через Infiniband как:

• Load/Store (доступ из GPU2-Core с GPU-RAM)
• cudaMemcpy() (скопировать из GPU2-RAM в GPU1-RAM)

Или можно использовать только cudaMemcpy() в RDMA?

Answer 1

GPUDirect RDMA имеет единую публичную реализацию в настоящее время, которая осуществляется через Mellanox Infiniband. Вам нужно использовать что-то вроде одного из CUDA-aware MPI systems, чтобы воспользоваться им.

Вы не можете использовать cudaMemcpy для копирования с GPU1 на GPU2 в примере, который вы показали, т. Е. Вы не можете использовать cudaMemcpy для копирования напрямую между графическими процессорами, которые живут в разных системах хоста.