Лучший способ иметь один процесс, распределенный по кластеру

Question

Я очень новичок в кластерных вычислениях и хотел узнать больше о различном программном обеспечении, используемом для кластерных вычислений, и которое лучше всего подходит для конкретных задач. В частности, проблема, которую я пытаюсь решить, включает сценарий типа «Менеджер/Рабочие», в котором один менеджер отвечает за создание от 100 до 1000 рабочих мест. Каждое задание, в то время как относительно большое, должно выполняться на небольшом кадре. То есть Менеджер скажет каждое задание: «Передвиньте один кадр и сообщите мне». Выполнение одного кадра будет очень маленьким, поэтому латентность между менеджером и рабочими машинами должна быть очень маленькой, порядка микросекунд.

Спасибо! Любая информация была бы оценена, даже материал, который не идеально соответствует описанному мной сценарию, просто чтобы дать мне отправную точку. Некоторое, что я исследовал до сих пор, это Hadoop, Хондондор и Акка.

Answer 1

Поскольку для вас важна латентность связи, вам следует, вероятно, рассмотреть возможность использования MPI. Нелегко писать простые программы Master/Worker с использованием MPI, и это, вероятно, даст вам лучшую производительность, особенно если ваш кластер имеет высокопроизводительные сети, такие как infiniband.

Если, по-видимому, вы используете Java, вам нужно будет провести некоторое исследование, чтобы определить хороший пакет Java/MPI. Вы найдете здесь несколько предложений: Java openmpi.