Цеппелин SqlContext registerTempTable вопрос

Question

Я пытаюсь получить доступ к некоторым данным JSon использования sqlContext.jsonFile в дирижабле ...

следующего кода выполнить без ошибок:

import sys.process._ 
val sqlCon = new org.apache.spark.sql.SQLContext(sc) 
val jfile = sqlCon.jsonFile(s"file:///usr/local/src/knoldus/projects/scaladay_data/scalaDays2015Amsterdam_tweets.json") 

import sqlContext.implicits._ 
jfile.registerTempTable("jTable01") 

output :

import sys.process._ sqlCon: org.apache.spark.sql.SQLContext = org.apache.spark.sql.SQLContext@7034473 jfile: org.apache.spark.sql.DataFrame = [id: struct, content: string, hashtags: array, score: struct, session: string, timestamp: bigint, tweetId: bigint, username: string] import sqlContext.implicits.

рядом я проверить таблицу имя, которое я только что зарегистрировался

sqlCon.tableNames().foreach(println)

output :

jTable01

, но когда я пытаюсь запустить следующий я получаю сообщение об ошибке:

%sql 
select * from jTable01 

output :

no such table jTable01; line 1 pos 14

в то же самое время, когда я бегу учебник пример для «банк» работает .... единственное отличие Я мог понять, что в учебнике по банку мы используем sc.textFile, но в моем случае я хотел использовать sqlContext.jsonFile.

не могли бы вы предоставить какие-либо указания, как я могу исправить эту проблему?

Answer 1

нашел решение удалить

val sqlCon = new org.apache.spark.sql.SQLContext(sc)

из моего кода и используемый по умолчанию Цеппелин sqlContext и это работает !!!

Answer 2

В моем случае ничего не решен, пока я не удален

import org.apache.spark.sql.SQLContext