нагрузки/магазин Units (LD/ST) и спецподразделения функции (SFUs) для архитектуры Kepler

Question

В Kepler architecture whitepaper, NVIDIA утверждают, что существует 32 спецподразделений функции (SFUs) и 32 нагрузки/магазин единицы (LD/ST) на SMX.

SFU предназначены для «быстрых приближенных трансцендентных операций». К сожалению, я не понимаю, что это значит. С другой стороны, в Special CUDA Double Precision trig functions for SFU говорится, что они работают только с одной точностью. Это все еще верно на K20Xm?

Блоки LD/ST, очевидно, предназначены для хранения и загрузки. Требуется ли загрузка или запись памяти для прохождения одного из тезисов? И они также используются в качестве единственной основы? Другими словами, может ли быть только одна основа, которая в настоящее время пишет или читает?

Приветствие, Andi

Answer 1

СФ предназначен для «быстрых приближенных трансцендентных операций»

SFUs вычислительных функции, как __cosf(), __expf() и т.д.

С другой стороны, здесь говорится, что они работают только в одинарная точность, это все еще правильно на K20Xm?

Согласно последним CUDA C Programming Guide, section G.5.1, они все еще работают только с одной точностью.

Это имеет смысл, поскольку, если вам нужна двойная точность, вряд ли вы будете использовать неточные математические функции. Вы можете обратиться к this answer за предложениями относительно арифметических оптимизаций с двойной точностью.

Детали реализации операций двойной точности можно найти в /usr/local/cuda-5.5/include/math_functions_dbl_ptx3.h (или там, где установлен ваш CUDA Toolkit). . для sin и cos он использует сокращение аргумента Payne-Hanek, за которым следует расширение Тейлора (до порядка 14).

Для двойных расчетов точности, SFUs, кажется, только в __internal_fast_rcp и __internal_fast_rsqrt, что, в свою очередь, используются в acos, log, cosh и несколько других функций (см math_functions_dbl_ptx3.h). Поэтому большую часть времени они останавливаются, например, блокировки LD/ST, если нет текущих транзакций памяти.

Следует ли загружать/записывать любую информацию из одного из тезисов?

Да, каждый доступ к глобальной памяти.

И используются ли они в качестве единственной основы? Другими словами, может быть только одна деформация, которая в настоящее время пишет или читает?

Число единиц ограничивает только количество инструкций, выданных за каждый цикл. То есть может быть выдан каждый 32-битный тактовый цикл, и 32 результата могут быть возвращены.

Одна инструкция может считывать/записывать до 128 байт, поэтому, если каждый поток в warp считывает 4 байта, и они объединены, то для полного преобразования требуется одна команда загрузки/хранения. Если доступ не развязан, тогда необходимо выдать больше инструкций.

Кроме того, единицы измерения - pipelined, что означает, что несколько запросов чтения/хранения могут выполняться одновременно одним блоком.

Answer 2

Не принимайте это как ответ - мы надеемся, что кто-то придет и ответ на ваш вопрос о операциях двойной точности трансцендентных. Я просто хотел рассмотреть вторую часть вашего вопроса, о подразделениях LD/ST.

Блоки LD/ST, очевидно, предназначены для хранения и погрузки.

Да.

Следует ли загружать/записывать любую информацию из одного из тезисов?

Да.

И используются ли они в качестве единственной основы?

Да, все активные потоки в основе всегда выдают один и тот же тип инструкций в том же такте. Если эта инструкция является нагрузкой или хранилищем, она выдается на устройства LD/ST. Если поток неактивен (из-за циклического или условного выполнения), соответствующий модуль LT/ST остается бездействующим.

Иными словами, может быть только одна деформация, которая в настоящее время пишет или читает?

Нет, блоки LD/ST могут принимать одну нагрузку или хранить операцию за такт, даже если латентность памяти может составлять несколько сотен циклов. Итак, когда один warp выдает команду загрузки, единицы LD/ST начнут работать над извлечением этих данных. Инструкции в деформации, зависящие от данных, становятся непригодными для выдачи до тех пор, пока данные не поступят. В следующем такте цикл деформации может выполнять другие независимые инструкции (параллелизм на уровне инструкций). Даже другие, независимые инструкции по загрузке или хранению. Еще одна деформация, которая может быть запланирована, может также в следующем такте переключать другую команду загрузки и сама переходит в состояние ожидания (параллельность уровня нити). В этот момент блоки LD/ST отслеживают два ожидающих результата. Из-за кеширования и коалесценции возможно, что данные для второго варпа поступают первыми. Когда данные для варпа поступают, он присваивается регистрам, указанным в инструкции, и затем разрешается конкретная зависимость данных.