Пользовательское дополнение Hadoop в защищенном кластере

Question

Мы используем керонизированный кластер CDH. При добавлении пользователя в кластер мы использовали для добавления пользователя только к узлам шлюза/края, как и в любом дистрибутивном кластере хаопов. Но с недавно добавленными идентификаторами пользователей мы не можем выполнять задания по сокращению/ниве карты и бросать исключение «пользователь не найден».

Когда я исследовал это, я наткнулся на ссылку https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/SecureContainer.html, в которой говорится, что для выполнения заданий пряжи в защищенном кластере нам может понадобиться соответствующий пользователь во всех узлах, поскольку безопасные контейнеры выполняются под учетными данными пользователь задания.

Итак, мы добавили соответствующий идентификатор пользователя ко всем узлам и выполняем задания. Если это так, и если кластер имеет более 100 узлов, то предоставление пользователей для каждого идентификатора пользователя станет утомительной задачей.

Может ли кто-нибудь предложить любой другой эффективный способ, если вы столкнулись с одним и тем же сценарием в реализации вашего проекта?

Answer 1

Существует несколько подходов, упорядоченных по сложности (от простого до болезненного).

У одного есть работающий пользователь, который каждый использует для запуска заданий.

Еще один вариант - использовать инструмент управления конфигурацией для синхронизации/etc/passwd и/etc/group (шеф-повар, марионетка) в вашем кластере через определенные промежутки времени (1 час - 1 день) или использовать задание cron для этого ,

В противном случае вы можете покупать или использовать службы отображения изображений Linux/UNIX с открытым исходным кодом, такие как Centrify (коммерческая), VAS (коммерческая), FreeIPA (бесплатно) или SSSD (бесплатно).

Если у вас есть сервер Active Directory или LDAP-сервер, используйте сопоставления пользователей Hadoop LDAP.

Ссылки:

https://community.hortonworks.com/questions/57394/what-are-the-best-practises-for-unix-user-mapping.html

https://www.cloudera.com/documentation/enterprise/5-9-x/topics/cm_sg_ldap_grp_mappings.html