В потоковых мультипроцессорах (SM) есть кеши, но они относительно малы и не помогут с действительно случайным доступом.
Вместо этого одна из идей, лежащих в основе графических процессоров, заключается в маскировке задержки доступа к памяти: каждому SM назначается несколько потоков для выполнения, больше, чем у него есть ядра. В каждом свободном часовом режиме он планирует некоторые потоки, которые не блокируются при доступе к памяти. Когда данные, необходимые для потока, не находятся в кэше SM, тогда поток останавливается до тех пор, пока данные не поступят, а другой поток выбран для выполнения.
Обратите внимание, что рабочее предположение заключается в том, что вы выполняете тяжелые вычисления. Если все, что вы делаете, это только небольшое вычисление на множестве данных, например. просто суммируя много 32-битных поплавков, тогда очень вероятно, что узкое место будет на ширине полосы пропускания памяти, и большую часть времени ваши потоки будут остановлены, ожидая, когда их биты поступят.
На практике, хотя вы делаете некоторые тяжелые расчеты по данным. Например. вы получаете входные нормали и материальные параметры, а затем делаете большой расчет освещения на них. Здесь, в то время как некоторые потоки выполняют вычисления, другие ожидают, что их данные поступят.