Поддерживает ли какой-либо дистрибутив Cloudera Hadoop Apache Spark SQL

Question

Я новичок в Apache Spark. Я слышал, что ни одна из версий CDH не предлагает Apache Spark SQL на данный момент, в том же случае с дистрибутивом hortonworks. Это правда..?

И еще один, у меня установлен CDH 5.0.0 на моем ПК, какая версия Apache Spark поддерживает мой CDH ..?

Также может кто-то, пожалуйста, предоставьте мне шаги для выполнения моей программы Spark в моем дистрибутиве CDH. Я написал несколько основных программ, использующих Apache Спарк версии 1.2, и я не в состоянии запускать эти программы в среде CDH, я столкнулся очень основной проблемой, когда я бегу программа Спарк с помощью команды искру подать

искровым представить : Команда не найдена

Нужно ли мне что-либо конфигурировать до запуска программы Spark ..?

Заранее спасибо

Answer 1

Все распределениями CDH включают все распределение Спарк, включая Спарк SQL.

EDIT: поддерживается с CDH 5.5.x.

CDH 5.0.x включает в себя Spark 0.9.x. CDH 5.3.x включает в себя Spark 1.2.x и 5.4.x, должен отправить 1.3.x, так как он скоро будет выпущен вверх по течению.

spark-submit уже является частью вашего пути, если вы используете CDH. Если вы бежите из другого места, вы должны поместить этот файл на свой путь или предоставить полный путь к нему. Это то же самое, что и любая программа. Итак, это что-то не так с тем, что вы создали.