Распространение заданий сжатия с привязкой к компьютеру на несколько компьютеров?

Question

На днях мне нужно было архивировать много данных в нашей сети, и я был разочарован. У меня не было немедленного способа использовать возможности нескольких машин для ускорения процесса.

Я понимаю, что создание распределенной системы управления заданиями - это прыжок из инструмента архивации в командной строке.

Теперь мне интересно, что может быть самым простым решением для такого типа сценариев распределенной производительности. Будет ли пользовательский инструмент всегда требовать или есть способы использовать стандартные утилиты и как-то распределить свою нагрузку прозрачно на более высоком уровне?

Спасибо за любые предложения.

Answer 1

Одним из способов решения этой проблемы может быть использование распределенной системы make для запуска скриптов на сетевом оборудовании. Это (или раньше) экспериментальная особенность (некоторые реализации GNU Make). Solaris реализует утилиту dmake для той же цели.

Другим, более тяжелым, может быть использование Condor для распространения ваших работ по архивированию. Но я думаю, что вы не установили Condor только для двухгодичного запуска архивирования, это скорее система для регулярного удаления запасных циклов от сетевого оборудования.

Система сборки SCons, которая на самом деле является заменой на марку на основе Python, вероятно, может быть убеждена в том, что она может работать в сети.

С другой стороны, вы можете использовать сценарии для ssh для запуска заданий на сетевых компьютерах.

Итак, есть несколько способов, по которым вы могли бы приблизиться к этому, не занимаясь параллельным программированием со всеми развлечениями, которые это влечет за собой.