Spark/Hadoop - Не удается найти реализацию сервера SASL для DIGEST-MD5

Question

в течение нескольких часов теперь я пытаюсь настроить Hadoop/YARN, чтобы я мог выполнять программы Spark на нем.

Но у меня застряла ошибка, для которой я абсолютно ничего не нахожу.

При попытке искры подать или искровые оболочки команды с --master пряжей я получаю следующее исключение:

Application application_1481891851677_0002 failed 2 times due to Error launching appattempt_1481891851677_0002_000002. 
Got exception: org.apache.hadoop.security.AccessControlException: Unable to find SASL server implementation for DIGEST-MD5 

Я использовал конфигурации от начинающих учебников искрового и Hadoop:

ядро-site.xml

<configuration> 
<property> 
    <name>fs.defaultFS</name> 
    <value>hdfs://localhost:9000</value> 
</property> 

HDFS-site.xml

<configuration> 
<property> 
    <name>dfs.replication</name> 
    <value>1</value> 
</property> 

пряжи site.xml

<property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
</property> 

Я не позволил SASL в любом месте. Кто-нибудь знает, как я буду исправлять или, по крайней мере, обходить ошибку?

Answer 1

Я выясню, что это проблема версии jdk. Я получил эту ошибку, когда мои задания mapReduce работают на Hadoop 2.8 с openjdk-9. После того, как я сменил его на openjdk-8 или openjdk-7, он работает хорошо.