Понимание параллелизма и графического процессора как ограниченного ресурса

Question

С процессором и памятью это просто.

Процесс имеет большое виртуальное адресное пространство, которое частично отображается в физическую память. Когда текущий процесс пытается получить доступ к странице, которая не находится в физической памяти, операционная система входит в систему, выбирает страницу для обмена (например, с Round Robin), свопирует ее на диск, затем считывает требуемую страницу из свопа, а элемент управления - вернулся к процессу. Это просто, потому что процесс не может продолжаться без этой страницы.

Ядра GPU - это совсем другая история.

Рассмотрим USECASE:
с высоким приоритетом [CPU] процесса, а именно X, делает вызов ядра (который является блокировка вызовов). В настоящий момент разумно, чтобы ОС переключала контексты и отдавала CPU другому процессу, а именно Z. Для примера, пусть процесс Z также сделает что-то тяжелое с графическим процессором.

Теперь, что делает драйвер GPU? Остановляет ли он ядро, принадлежащее [более высокоприоритетным] X? Сообщает ли он ОС, что Z не имеет приоритетов для разгрузки ядер X? В общем, что происходит, когда двум процессам нужны ресурсы графического процессора, но доступной памяти GPU достаточно, чтобы обслуживать только один из них за раз?

Answer 1

Контент-коммутатор CUDA совместно работает с грубой детализацией (подумайте «memcpy» или «запуск ядра»). Если для обоих контекстов достаточно памяти, аппаратное обеспечение с удовольствием сотрудничает с контекстным переключателем между ними при небольшой производительности. (Но поскольку это кооперативные, длинные ядра будут мешать выполнению других ядер).

Современные графические процессоры поддерживают виртуальную память (то есть защиту памяти посредством преобразования адресов), но они НЕ поддерживают пейджинг запросов. Это означает, что каждый кусок памяти, доступный для графического процессора (память устройства и привязанная к нему память), должен быть физически представлен и отображен после выделения.

Модель драйвера дисплея Windows (WDDM), представленная в Windows Vista, выполняет поисковый вызов с очень грубой детализацией. Драйвер должен отслеживать, какие «объекты памяти» необходимы для выполнения заданного командного буфера, и ОС обеспечивает их присутствие. ОС может заменить их, когда они не нужны. Морщина с CUDA заключается в том, что, поскольку указатели могут быть сохранены, все объекты памяти, связанные с адресным пространством CUDA, должны быть резидентными, чтобы запускать ядро ​​CUDA. Таким образом, подкачка не работает также для CUDA, как и для графических приложений, которые WDDM был разработан для запуска.