NoSuchMethodError при использовании hbase-сервера

Question

Чтобы использовать TableMapper, я включил зависимости hbase-сервера в мой проект hadoop. hbase-shaded-client и hbase-server имеют версию 1.1.2.

Но при попытке выполнить задание Hadoop, у меня есть ошибка, которая, кажется, связанная с безопасностью:

FATAL [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MRAppMaster 
java.lang.NoSuchMethodError: org.apache.hadoop.security.authentication.server.AuthenticationFilter.constructSecretProvider(Ljavax/servlet/ServletContext;Ljava/util/Properties;Z)Lorg/apache/hadoop/security/authentication/util/SignerSecretProvider; 
    at org.apache.hadoop.http.HttpServer2.constructSecretProvider(HttpServer2.java:447) 
    at org.apache.hadoop.http.HttpServer2.<init>(HttpServer2.java:339) 
    at org.apache.hadoop.http.HttpServer2.<init>(HttpServer2.java:114) 
    at org.apache.hadoop.http.HttpServer2$Builder.build(HttpServer2.java:290) 
    at org.apache.hadoop.yarn.webapp.WebApps$Builder.build(WebApps.java:261) 
    at org.apache.hadoop.yarn.webapp.WebApps$Builder.start(WebApps.java:303) 
    at org.apache.hadoop.mapreduce.v2.app.client.MRClientService.serviceStart(MRClientService.java:142) 
    at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193) 
    at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.serviceStart(MRAppMaster.java:1107) 
    at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193) 
    at org.apache.hadoop.mapreduce.v2.app.MRAppMaster$4.run(MRAppMaster.java:1519) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.Subject.doAs(Subject.java:422) 
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657) 
    at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.initAndStartAppMaster(MRAppMaster.java:1515) 
    at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.main(MRAppMaster.java:1448) 
2016-08-22 11:04:29,010 INFO [main] org.apache.hadoop.util.ExitUtil: Exiting with status 1 

ли кто-то есть эта проблема раньше?

спасибо.

Answer 1

Затененный клиент hbase, похоже, затягивает не-затененную версию классов api сервлета. Это может вызвать проблемы при развертывании на веб-серверах или в любой другой среде, которая ожидает, что будет доступна другая версия сервлета api.