HDFS NFS-шлюз «Нет групп для пользователя» предупреждения

Question

Я использую шлюз NFS для доступа к некоторым данным в HDFS (CDH 5.4.5).

Все, казалось, было хорошо, пока я не получил сообщение с сообщением, информирующее меня о том, что свободное место для журнала регистрации работает очень низко. У меня был быстрый взгляд на большие файлы журнала:

sudo find /var/log -type f -size +100000k -exec ls -lh {} \; | awk '{ print $9 ": " $5 }' 

... и заметил файл 34GB под названием /var/log/hadoop-hdfs/hadoop-cmf-hdfs-NAMENODE-[fqdn-of-name-node].log.out. Быстрый взгляд изнутри показал, что почти полностью состоял из этого предупреждения:

2015-11-30 13:41:15,535 WARN org.apache.hadoop.security.UserGroupInformation: No groups available for user [some_user] 

Видя это, я добавил some_user пользователя в hdfs группы, т.е. usermod -a -G hdfs some_user на узле под управлением шлюзом NFS, а затем перезапустить службу шлюза NFS , К сожалению, сообщение «Нет групп, доступных для пользователя ...» по-прежнему регистрируется с жестокой скоростью.

Вы видите, что я делаю неправильно? Нужно ли настраивать учетную запись some_user на каждом узле, а не только на шлюзе NFS? Нужно ли мне делать что-то большее, чем просто перезапустить службу, чтобы изменения были эффективными?

Answer 1

Пользователь и его группа должны быть настроены на namenode. По умолчанию Hadoop получает сопоставления групп из настроек ОС. См. Здесь: https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html#Group_Mapping