токен (HDFS_DELEGATION_TOKEN токен 210 для <USER>) не найден в кеше

Question

Я использую Kerberized hasoop cluster (Hadoop 2.6.0-cdh5.4.4) с Spark 1.3 и YARN. Я пытался часами узнать о происхождении этой ошибки, полученной приложением scala 2.10:

16/04/16 10:32:33 WARN ipc.Client: Исключение встречается при подключении к серверу: org. apache.hadoop.ipc.RemoteException (org.apache.hadoop.security.token.SecretManager $ InvalidToken): токен (HDFS_DELEGATION_TOKEN токен 210 для XXXXXX) не может быть найден в кеше 16/04/16 10:32:33 WARN hdfs.LeaseRenewer: Не удалось возобновить аренду для [DFSClient_NONMAPREDUCE_462399399_14] в течение 30 секунд. Вскоре повторит попытку ... org.apache.hadoop.ipc.RemoteException (org.apache.hadoop.security.token.SecretManager $ InvalidToken): токен (HDFS_DELEGATION_TOKEN токен 210 для XXXXXX) не может быть найден в кеше at org .apache.hadoop.ipc.Client.call (Client.java:1410) на org.apache.hadoop.ipc.Client.call (Client.java:1363) на org.apache.hadoop.ipc.ProtobufRpcEngine $ Invoker .invoke (ProtobufRpcEngine.java:206)

Я воспроизвожу код с помощью pyspark и получил то же самое.

Answer 1

Большая часть запросов в Интернете связана с проблемами конфигурации, которые не работали для меня.

Наконец-то я узнал, что это было вызвано декомпозицией программирования. Код создавал и останавливал несколько искровых контекстов, без всяких усилий. После удаления этого множественного создания и использования единственного контекста искры ошибки исчезли, и приложение закончилось без проблем.

Надеюсь, это поможет кому-то.