Спарк ошибка установки 2,0 в ambari версии 2.2.1.1

Question

Я пытаюсь установить искру 2.0 через ambari (версия 2.2.1.1), используя определение ресурса из

https://github.com/jerryshao/spark2-ambari-definition

При установке искру 2 бережливость сервер получил следующее ошибка. Вы можете помочь.

Traceback (most recent call last): 
File "/var/lib/ambari-agent/cache/common- services/SPARK2/2.0.0/package/scripts/spark_thrift_server.py", line 26, in <module> 
from resource_management.libraries.functions import stack_select 
ImportError: cannot import name stack_select 

Answer 1

В определении услуги, к которому вы привязаны, относится к HDP 2.5, который использует Ambari 2.4.x, а не 2.2.x. Частично это видно из-за того, что они используют stack_select вместо hdp_select. Эта функция была переименована в Ambari 2.4.x и отменила обратную совместимость, поскольку в предыдущих версиях она называлась hdp_select.

HDP 2.5 поставляется с техническим предварительным просмотром Spark 2.0.0, поэтому нет необходимости в определении сервиса, с которым вы связаны. Один из них уже представлен в стеке HDP 2.5.

IBM Open Platform (IOP) 4.3 (отправка в 2017 году) обеспечит поддержку Spark 2.1.0. Теперь вы можете начать использовать technical preview стека IOP 4.3.