В чем разница между пропускной способностью шины и пропускной способностью процессора? Как это негативно влияет на последовательные вычисления? Как это отрицательно влияет на параллельные вычисления?Несоответствие между пропускной способностью шины и пропускной способностью процессора и их влиянием на последовательные и параллельные вычисления
Если ваш процессор может получить доступ к кешу с шагом 1 нс, но ваша память занимает 60 нс для доставки случайного слова памяти, в какой-то момент ваш процессор будет считывать память со скоростью 60x медленнее, чем кеш. Если вы обрабатываете большое количество данных, вы можете увидеть огромное замедление, даже для последовательных программ.
Если у вас несколько процессоров, они будут иметь более высокую пропускную способность на шине. Представьте себе шину последовательного доступа с 64 процессорами, которые пытаются ее прочитать: только один удастся в любой момент. Следствием этого является то, что в такой системе трудно получить параллелизм 64, если только каждый процессор не останется полностью в его кеше.
Является ли «60x медленная скорость» происходящим только тогда, когда конкретное «слово памяти» находится не в кеше, и оно должно быть доставлено в кеш? – user2871354
Да. Дело в том, что если ваш процессор выполняет достаточную работу, кеш не может содержать все данные, поэтому он должен, в конечном счете, выйти за пределы кеша, и вам нужно принять удар. –
... есть некоторые алгоритмы, которые читают память последовательно (или в известных шагах), и в этом случае система ЦП/память может организовать доставку данных последовательно или пошагово, прежде чем она будет запрошена; это может помочь увеличить пропускную способность. Большинство алгоритмов не так удачливы, и вам все еще нужно достаточно автобусов для подачи 64 процессоров, если у вас 64. –