Я запускаю искру 2.0 и zeppelin-0.6.1-bin-all на сервере Linux. Исходный блок по умолчанию работает нормально, но когда я пытаюсь создать и запустить новый блокнот в pyspark с помощью sqlContext, я получаю ошибку «py4j.Py4JException: метод createDataFrame ([class java.util.ArrayList, класс java.util.ArrayList, нуль]) не существует "Spark 2.0 с Zeppelin 0.6.1 - SQLContext недоступен
Я попытался запустить простой код,
%pyspark
wordsDF = sqlContext.createDataFrame([('cat',), ('elephant',), ('rat',), ('rat',), ('cat',)], ['word'])
wordsDF.show()
print type(wordsDF)
wordsDF.printSchema()
Я получаю ошибку,
Traceback (самый последний вызов последнего): Файл"/TMP/zeppelin_pyspark- 7635635698598314374.py ", строка 266, в raise Exception (traceback.format_exc()) Excep (последний звонок): Файл «/tmp/zeppelin_pyspark-7635635698598314374.py», строка 259, в exec (код) Файл «", строка 1, в Файл «/spark/spark-2.0 .0-bin-hadoop2.7/python/pyspark/sql/context.py ", строка 299, в createDataFrame return self.sparkSession.createDataFrame (данные, схема, samplingRatio) Файл" /spark/spark-2.0.0 -bin-hadoop2.7/python/lib/py4j-0.10.1-src.zip/py4j/java_gateway.py ", строка 933, в вызов ответ, self.gateway_client, self.target_id, self.name) Файл «/spark/spark-2.0.0-bin-hadoop2.7/python/pyspark/sql/utils.py», строка 63, в deco return f (* a, ** kw) Файл «/ spark /spark-2.0.0-bin-hadoop2 .7/python/lib/py4j-0.10.1-src.zip/py4j/protocol.py ", строка 316, в get_return_value format (target_id,". ", Name, value)) Py4JError: Произошла ошибка во время вызов o48.createDataFrame. Trace: py4j.Py4JException: метод createDataFrame ([класс java.util.ArrayList, класс java.util.ArrayList, null]) не существует at py4j.reflection.ReflectionEngine.getMethod (ReflectionEngine.java:318) at py4j .reflection.ReflectionEngine.getMethod (ReflectionEngine.java:326) на py4j.Gateway.invoke (Gateway.java:272) на py4j.commands.AbstractCommand.invokeMethod (AbstractCommand.java:128) в py4j.commands.CallCommand .Execute (CallCommand.java:79) в py4j.GatewayConnection.run (GatewayConnection.java:211) в java.lang.Thread.run (Thread.java:745)
Когда я пытаюсь тот же код с "sqlContext = SQLContext (sc)" работает jus хорошо.
Я попытался установить конфигурацию интерпретатора «zeppelin.spark.useHiveContext false», но это не сработало.
Должно быть, я должен что-то упустить, так как это такая простая операция. Пожалуйста, совет, если есть какая-либо другая конфигурация, которая будет установлена или что я пропущу.
Я проверил ту же часть кода с Zeppelin 0.6.0, и он отлично работает.