Что такое пространство с нуля/файловая система в HPC

Question

Я изучаю приложения HPC и параллельные файловые системы. Я натолкнулся на термин «царапины» и «С нуля».

Я не могу представить, где это место царапины. Является ли он на вычислительном узле как смонтированная файловая система/царапины или на основном пространстве для хранения.

Что это такое.

Независимо от нуля места на каждом вычислительном узле, или два или более узла могут совместно использовать одно пространство с нуля.

Так что скажем, у меня есть файл 123.txt, который я хочу обрабатывать параллельно. Будет ли пространство царапин содержать части этого файла или весь файл будет скопирован.

Я смущен, и нигде в google нет четкого описания. Пожалуйста, укажите на некоторые.

Большое спасибо.

Answer 1

Все зависит от того, как был настроен кластер и что нужно пользователям. Когда вам предоставляется доступ к кластеру, вам также следует предоставить некоторую информацию о том, как он предназначен для использования, который должен отвечать на большинство ваших вопросов.

В одном из кластеров, которые я работаю с NFS, используется для долговременного хранения, а некоторые пространства для масок доступны для места для царапин. И NFS, и Luster видны всеми узлами. У каждого из узлов также есть место для царапин на узле, который может видеть только этот узел.

Если вы хотите, чтобы ваша работа работала на 123.txt параллельно, вы можете скопировать 123.txt в разделяемое пространство с пробелами (Luster), или вы можете скопировать его в каждое пространство вашего места в вашем файле задания.

for i in `cat $PBS_NODEFILE | sort -u ` ; do scp 123.txt $i:/scratch ; done 

Как только у каждого узла есть копия, вы можете выполнить свою работу. После выполнения задания вам нужно скопировать результаты в постоянное хранилище, так как кластеры часто запускают скрипты для очистки места для царапин.

Answer 2

Существует много разных способов подумать или развернуть пространство царапин или файловую систему с нуля.

Предположим, у вас есть кластер Linux-узлов, и все эти узлы имеют жесткий диск. Вы можете представить себе пространство/scratch, локальное для каждого узла. Так как изображение ОС будет относительно небольшим, и в настоящее время невозможно получить что-то меньшее, чем терабайтный накопитель, в итоге вы получите около терабайта памяти для используемого узла.

Что вы будете делать с этим локальным хранилищем? О, много чего. Масштабируемая контрольная точка-перезагрузка. Локальные внеочередные операции.

Когда я впервые начал играть с кластерами, было бы неплохо объединить все это неиспользуемое пространство в параллельную файловую систему. PVFS отлично справилась с этой задачей.

, который позволяет мне переходить к параллельной файловой системе/scratch, доступной для всех узлов. Для этого есть технологический компонент (какая параллельная файловая система будет развертывать сайт?), Но есть и политический компонент: как долго будут сохраняться данные в этой файловой системе? он подкреплен?/scratch часто подразумевает, что файлы не архивируются и фактически очищаются после некоторого периода отсутствия доступа (обычно две недели)