Это параллельное программирование == многопоточное программирование?

Question

Это параллельное программирование == многопоточное программирование?

Answer 1

Многопотоковое программирование является параллельным, но параллельное программирование не обязательно многопоточно.

Если многопоточность не происходит на одном ядре, в этом случае она будет только одновременной.

Answer 2

Не обязательно. Вы можете распространять задания между несколькими процессами и даже несколькими машинами - я бы не классифицировал это как «многопоточное» программирование, так как каждый процесс может использовать только один поток, но это, безусловно, параллельное программирование. По общему признанию, вы могли бы утверждать, что с несколькими процессами в системе есть несколько потоков в целом ...

В конечном итоге такие определения полезны только в контексте. В вашем конкретном случае, какая разница? Или это просто не интересно?

Answer 3

Нет. Многопоточное программирование означает, что у вас есть один процесс, и этот процесс генерирует кучу потоков. Все потоки работают одновременно, но все они находятся под одним и тем же пространством процессов: они могут обращаться к одной и той же памяти, иметь одинаковые дескрипторы открытых файлов и т. Д.

Параллельное программирование является немного более «общим» в качестве определения. в MPI вы выполняете параллельное программирование, запуская один и тот же процесс несколько раз, с той разницей, что каждый процесс получает другой «идентификатор», поэтому, если вы хотите, вы можете различать каждый процесс, но он не требуется. Кроме того, эти процессы независимы друг от друга, и они должны обмениваться данными по каналам или сокетам сети/unix. Библиотеки MPI предоставляют определенные функции для перемещения данных взад и вперед по узлам в синхронном или асинхронном стиле.

В отличие от этого, OpenMP обеспечивает параллелизацию через многопоточность и общую память. Вы указываете специальные директивы для компилятора, и он автоматически выполняет параллельное выполнение для вас.

Преимущество OpenMP в том, что он очень прозрачный. Есть ли цикл для параллелизации? просто добавьте пару директив, а компилятор разбивает их на куски и назначает каждую часть цикла другому процессору. К сожалению, для этого вам нужна архитектура с общей памятью. Кластеры, имеющие узловую архитектуру, не могут использовать OpenMP на уровне кластера. MPI позволяет работать с узловой архитектурой, но вам нужно заплатить более сложное и непрозрачное использование.