Должен ли я использовать MPS (MULTI-PROCESS SERVICE) при использовании CUDA6.5 + MPI?

Question

По ссылке написано: https://docs.nvidia.com/deploy/pdf/CUDA_Multi_Process_Service_Overview.pdf

1,1. AT A GLANCE

1.1.1. MPS

Многопроцессорная служба (MPS) представляет собой альтернативную бинарную совместимость с реализацией интерфейса прикладного программирования CUDA (API). Архитектура выполнения MPS предназначена для прозрачно позволяет кооперативных приложений многозадачности CUDA, обычно рабочие MPI, в использовать возможности Hyper-Q на последний NVIDIA (Kepler основы) Tesla и Quadro GPU. Hyper-Q позволяет обрабатывать ядра CUDA одновременно на одном и том же графическом процессоре; это может принести пользу, когда вычислительная емкость GPU недостаточно используется одним процессом приложения.

1. Должен ли я использовать MPS (MULTI-процесса обслуживания) при использовании CUDA6.5 + MPI (OpenMPI/IntelMPI), или может я не использования MPS с потерянной некоторой производительности, но без какой-либо ошибки?

2. Если я не использование MPS, это значит, что все мои MPI-процессы на одном сервере, будут выполнять свои GPU-ядра-функцию последовательно (не одновременно) на одном GPU-карте, но все остальные поведение останется неизменным?

Answer 1

1. MPS не требуется использовать MPI

2. Если вы не используете MPS, но запускать несколько MPI занимает один узел (т.е. на GPU), то если у вас есть электронн режим установлен на значение по умолчанию, то ваша активность GPU будет сериализована. Если у вас установлен режим вычисления EXCLUSIVE_PROCESS или EXCLUSIVE_THREAD, вы получите ошибки, когда несколько рядов MPI попытаются использовать один GPU.

CUDA MPS документация доступна here.