zeppelin with spark 1.5.2 автономная ошибка кластера

Question

Я загрузил двоичный код Zeppelin 0.5.5 в экземпляр redhat 6.3. Я также успешно создал искру 1.5.2. Теперь я хотел бы, чтобы zeppelin использовал эту искровую версию вместо предварительно скомпилированной, которая поставляется с zeppelin.

Для этого я редактировал конф/так, что он содержит только эту раскомментируйте строку:

export SPARK_HOME=/home/eron/spark-1.5.2/ 

Я также редактировал GUI ZEPPELIN, так что теперь у меня есть мастер набор:

master = spark://master:7077 

затем я ударил рестарт и попытался пройти через учебник снова:

val bankText = sc.textFile("/mnt/zeppelin-0.5.5-incubating-bin-all/bank.csv") 

org.apache.thrift.transport.TTransportException at org.apache.thrift.transport.TIOStreamTransport.read (TIOStreamTransport.java:132) at org.apache.thrift.transport.TTransport.readAll (TTransport.java:86) на org.apache.thrift.protocol.TBinaryProtocol.readAll (TBinaryProtocol.java:429) на org.apache.thrift.protocol.TBinaryProtocol.readI32 (TBinaryProtocol.java:318) на org.apache. thrift.protocol.TBinaryProtocol.readMessageBegin (TBinaryProtocol.java:219) на org.apache.thrift.TServiceClient.receiveBase (TServiceClient.java:69) на org.apache.zeppelin.interpreter.thrift.RemoteInterpreterSer вице $ Client.recv_interpret (RemoteInterpreterService.java:220) на org.apache.zeppelin.interpreter.thrift.RemoteInterpreterService $ Client.interpret (RemoteInterpreterService.java:205) в org.apache.zeppelin.interpreter.remote. RemoteInterpreter.interpret (RemoteInterpreter.java:211) на org.apache.zeppelin.interpreter.LazyOpenInterpreter.interpret (LazyOpenInterpreter.java:93) на org.apache.zeppelin.notebook.Paragraph.jobRun (Paragraph.java:207) в org.apache.zeppelin.scheduler.Job.run (Job.java:170) в org.apache.zeppelin.scheduler.RemoteScheduler $ JobRunner.run (RemoteScheduler.java:304) в java.util. concurrent.Executors $ RunnableAdapter.call (Executo rs.java:471) на java.util.concurrent.FutureTask.run (FutureTask.java:262) при java.util.concurrent.ScheduledThreadPoolExecutor $ ScheduledFutureTask.access $ 201 (ScheduledThreadPoolExecutor.java:178) на Java. util.concurrent.ScheduledThreadPoolExecutor $ ScheduledFutureTask.run (ScheduledThreadPoolExecutor.java:292) на java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1145) в java.util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor.java:615) на java.lang.Thread.run (Thread.java:745)

Кроме того, просто делаешь г

sc 

выходы:

java.net.ConnectException: Соединение отклонено на java.net.PlainSocketImpl.socketConnect (нативный метод) при java.net.AbstractPlainSocketImpl.doConnect (AbstractPlainSocketImpl.java:339) на java.net.AbstractPlainSocketImpl.connectToAddress (AbstractPlainSocketImpl.java:200) на java.net.AbstractPlainSocketImpl.connect (AbstractPlainSocketImpl.java:182) в java.net.SocksSocketImpl. connect (SocksSocketImpl.java:392) на java.net.Socket.connect (Socket.java:579) на org.apache.thrift.transport.TSocket.open (TSocket.java:182) на org.apache. zeppelin.interpreter.remote.ClientFactory.create (ClientFactory.java:51) на org.apache.zeppelin.interpreter.remote.ClientFactory.create (ClientFactory.java:37) на org.apache.commons.pool2. BasePooledObjectFactory.makeObject (Base PooledObjectFactory.java:60) на org.apache.commons.pool2.impl.GenericObjectPool.create (GenericObjectPool.java:861) в org.apache.commons.pool2.impl.GenericObjectPool.borrowObject (GenericObjectPool.java: 435) на org.apache.commons.pool2.impl.GenericObjectPool.borrowObject (GenericObjectPool.java:363) на org.apache.zeppelin.interpreter.remote.RemoteInterpreterProcess.getClient (RemoteInterpreterProcess.java:139) на org.apache.zeppelin.interpreter.remote.RemoteInterpreter.interpret (RemoteInterpreter.java:192) на org.apache.zeppelin.interpreter.LazyOpenInterpreter.interpret (LazyOpenInterpreter.java:93) на org.apache.zeppelin.notebook.Paragraph.jobRun (Paragraph.java:207) на org.apache.zeppelin.scheduler.Job.run (Job.java:170) на org.apache.zeppelin.scheduler. RemoteScheduler $ JobRunner.run (RemoteScheduler.java:304) at java.util.concurrent.Executors $ RunnableAdapter.call (Executors.java:471) at java.util.concurrent.FutureTask.run (FutureTask.java:262) при java.util.concurrent.ScheduledThreadPoolExecutor $ ScheduledFutureTask.access $ 201 (ScheduledThreadPoolExecutor.java:178) на java.util.concurrent.ScheduledThreadPoolExecutor $ ScheduledFutureTask.run (ScheduledThreadPoolExecutor.java:292) на java.util. concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1 145) по адресу java.util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor.java:615) at java.lang.Thread.run (Thread.java:745) занял 0 секунд.

Любые идеи о том, что я делаю неправильно?

Answer 1

Версия Zeppelin 0.5.5 не будет работать с любой версией искры Apache выше 1.5.0, поэтому вам нужно будет скачать Zeppelin 0.6.0 из github и перекомпилировать с помощью команды «mvn clean package -Pspark-1.5 -DskipTests «Zeppelin 0.5.5 строит Spark 1.4 по умолчанию.