Как устранить несоответствие версии AWS EMR Spark и Zeppelin?

AWS EMR 5.0 поставляется с Spark: Spark 2.0.0 on Hadoop 2.7.2 YARN with Ganglia 3.7.2 and Zeppelin 0.6.1 предварительно упакованным, но Zeppelin 0.6.1 поддерживает только Spark 1.6.x. Есть ли способ устранить несоответствие версии без создания и развертывания пользовательской версии Zeppelin?Как устранить несоответствие версии AWS EMR Spark и Zeppelin?

источник

2016-09-20 SergeyB

настраиваемая версия Zeppelin на emr-5.0.0 работает с Spark 2.0.

источник

2016-09-21 02:42:38 spew

такой же здесь. У меня нет проблем с запуском Zeppelin с искровым 2.0 на EMR 5.0 (как pyspark, так и искра) – Niros

Примечание: версия Zeppelin на emr-5.0.0 равна 0.6.1-SNAPSHOT, потому что 0.6.1 не был полностью выпущен к моменту времени emr- 5.0.0 должен был быть выпущен. Однако версия 0.6.1-SNAPSHOT, выпущенная с помощью emr-5.0.0, не за горами, начиная с версии 0.6.1, и поддерживает Spark 2.0. –

Также официальная версия Zeppelin 0.6.1 была выпущена в emr-4.8.0 (через некоторое время после выхода emr-5.0.0), а Zeppelin 0.6.1 - в следующей версии emr-5.x когда он выходит. –

Это неправда. Zeppelin 0.6.1 была первой версией, которая работает с Spark 2.0.0.

источник

2016-09-21 10:19:22

Обратите внимание, что zeppelin 0.6.1-SNAPSHOT, поставляемый с EMR 5.0.0, является неисправным и лишь частично поддерживает искру 2.0. В частности, UDF не работают. Это зафиксировано в Zeppelin 0.6.2 – conradlee

Как устранить несоответствие версии AWS EMR Spark и Zeppelin?

ответ

Смежные вопросы