PBS: Может ли серийное задание с большой памятью использовать память из нескольких узлов?

Question

Я новый пользователь для высокопроизводительных вычислений, я пытаюсь запустить серийное задание, которому требуется около 80 ГБ памяти. Однако общая память, доступная для одного узла, составляет всего 12 ГБ для нашего кластера (кластер нашей лаборатории немного старый). Я прочитал несколько руководств в Интернете и, насколько мне известно, только задания MPI могут использовать память из нескольких узлов? Это правда? Любые идеи о том, как решить мою конкретную проблему? Спасибо вам, ребята!

Answer 1

Что вы описываете, это своего рода абстракция разделяемой памяти для распределенных систем. К сожалению, кластеры или любая другая система HPC не работают так, и вам нужно использовать межузловую связь (передачу сообщений) для доступа к большему количеству памяти. MPI является стандартом де-факто для распределенной обработки, и вы не сможете добиться слабой масштабируемости за пределами пределов памяти узла без внесения изменений в код.

Answer 2

Я никогда не слышал, чтобы MPI мог запускать код, который потребует больше памяти, чем на одном узле (если приложение специально не предназначено для обмена памятью между узлами). ElasticOS работает над этим: http://synergy.cs.vt.edu/2015-nsf-xps-workshop/reports/Richard_Han_45-Conference_Presentation_ElasticOS_XPS_2015.2.pdf