Обмен сообщениями между заданиями крутящего момента в кластере

Question

Итак, мне нужно представить интенсивные вычисления (глубокое обучение нейронной сети) крутящемуся кластеру, в котором время аренды вычисляется, и мне нужно обменивать несколько мегабайт больших поплавковых массивов каждые несколько минут между активными узлами, поскольку узлы должны работать с самой последней версией нейронной сети, чтобы хорошо ее тренировать.

Мне было интересно, если бы были какие-либо хорошие варианты связи, по крайней мере, чтобы сообщить каждой активной работе свои рабочие места сестер, чтобы он мог подключиться к ним с помощью tcp. Узлы не имеют доступа к Интернету, и у нас не может быть демонов, работающих на сервере отправки задания.

Единственные варианты, которые я вижу бы:

• некоторые передачи сообщений опцию Крутящий момент (я являюсь довольно нуб на крутящий момент)
• очень подвержен ошибкам вариант использования файлов для связи, которые Я ненавижу.
• способ запросить ips активных узлов с сервера.

Answer 1

Существует множество способов обмена информацией между узлами кластера в зависимости от архитектуры кластера. Torque - это менеджер ресурсов, поэтому, если задание отправляется в кластер с использованием пакетного сценария, есть несколько переменных среды, которые должны иметь возможность указывать имена хостов или IP-адреса узлов, используемых в задании.

Точный синтаксис для поиска IP-адресов и/или имен хостов будет зависеть от диспетчера планировщика/рабочей нагрузки, используемого с крутящим моментом в вашем кластере. У этой ссылки есть документация для менеджера рабочей нагрузки PBS Works.

Параллельная связь между узлами может быть достигнута различными способами и будет частично зависеть от оборудования, доступного в кластере. Использование MPI является одним из наиболее распространенных способов распараллеливания кода для использования в кластере, и многие реализации поддерживают несколько высокопроизводительных сетей/межсоединений, таких как Infiniband. Некоторые полезные введения в различные типы параллелизма можно найти here.

В качестве альтернативы MPI Remote Direct Memory Access (RDMA) можно использовать для передачи и доступа к информации между узлами. Если в кластере сетевые адаптеры Infiniband, просматривающие API IB-Verbs от поставщика, станут дополнительным вариантом для передачи данных между узлами.