Распознает ли Apache Mesos ядра GPU?

Question

В слайде 25 из this talk руководителем отдела печати с открытым исходным кодом главы Twitter, ведущий говорит, что Mesos позволяет отслеживать и управлять даже GPU (я предполагаю, что он имел в виду GPGPU) ресурсы. Но я не могу найти какую-либо информацию об этом в другом месте. Кто-то может помочь? Помимо Mesos, существуют ли другие кластерные менеджеры, поддерживающие GPGPU?

Answer 1

Mesos пока не обеспечивает прямую поддержку GPU, но поддерживает специальные типы ресурсов. Если вы укажете --resources="gpu(*):8" при запуске mesos-slave, то это станет частью предложения ресурсов для фреймворков, которое может запускать задачи, требующие использования этих ресурсов. Когда некоторые из ресурсов gpu используются в задаче, снова будут предлагаться только оставшиеся ресурсы, пока эта задача не завершится, и ресурсы gpu снова не появятся. Таким образом, распределитель ресурсов Mesos может фактически планировать ресурсы gpu, которые вы объявили, и гарантировать, что только объявленная сумма предлагается/распределена для фреймворков.

Mesos еще не имеет поддержки изоляции gpu, но с «подключаемыми модулями изолятора» вы можете создать собственный изолятор gpu для обеспечения соблюдения ограничений ресурсов gpu.

В качестве альтернативы, если вы не хотите выделять отдельные ресурсы gpu, но только хотите объявить некоторые узлы как имеющие gpus, а другие нет, вы можете просто использовать --attributes="hasGpu:true" или что-то подобное, чтобы различать узлы, которые делают/не делают есть gpus. Эта информация также передается в рамки в предложениях ресурсов, но эти атрибуты не могут «потребляться» выполняемой задачей, поэтому они всегда будут предлагаться для этого узла.

Для получения дополнительной информации см https://mesos.apache.org/documentation/attributes-resources/