Модифицировать агент мезоса для добавления настраиваемых ресурсов, которые динамически меняются

Question

Я разрабатываю новую структуру mesos-slurm, где задания извне мезо также могут быть перенесены в очереди slurm.

UPDATE, чтобы лучше объяснить проблему.: Агент mesos имеет менеджер рабочей нагрузки slurm, установленный на том же компьютере, который организует задания в HPC. Этот Slurm получает задания либо от исполнителя mesos, как и от других методов (например, сторонние пользователи, отправляющие задания непосредственно на slurm через ssh).

Поэтому я бы хотел, чтобы агент мог знать, прежде чем отправлять предложения в мезо, состояние очередей slurm (количество заданий, выполняемых и ожидающих запуска), и предлагать ресурсы соответственно. Этого нельзя достичь, зная задачи, принятые исполнителем, поскольку другие ресурсы HPC могли быть приняты сторонними пользователями, используя slurm напрямую.

Другими словами, то, что я хотел бы сделать, - это настроить способ, которым агент знает доступные ресурсы, чтобы принять во внимание текущее состояние очередей Slurm.

UPDATE 2 Diagram, чтобы объяснить ситуацию:

Как вы можете видеть на диаграмме, как агент создает предложения (в красном цвете) является то, что я хотел бы настроить таким образом, агент будет принять во внимание состояние Slurm (это может быть прочитано исполнителем или агентом), прежде чем сгенерировать их.

Возможно ли это? Если положительно, как можно добиться?

Заранее спасибо.

Answer 1

Я думаю, что этот дизайн сломан. Если вы разрешаете запуск рабочих мест без контроля Mesos, вы теряете контроль над ресурсами.

• Если вы можете подготовить простую структуру, которая будет прокси-пользователи запрашивают в Mesos: вы можете использовать собственные ресурсы и получить текущее состояние в предложениях.

• Если вы не можете изменить свой дизайн, и вам нужно начать работу за пределами Мезоса: вы можете использовать механизм переподписки с комбинацией с пользовательскими ресурсами. Затем ваше QoS будет обновлять ресурсы в соответствии с текущим использованием, и вы получаете возможность использования.