PySpark: RegisterTempTable Lose Headers

Question

Я читал данные с использованием SQLContext и хотел запустить SQL-запросы на нем. Я получил ошибку. Вот мой код:

%pyspark 

from pyspark.sql import SQLContext 
sqlCtx = SQLContext(sc) 
data = sqlCtx.read.csv("s3://recs-emr-sandbox/mtcars.csv", header=True, inferSchema=True) 
data.registerTempTable("data") 
spark.sql("SELECT * from data").show() 

я получаю результат, но мои заголовки нет, поэтому в основном бесполезно, потому что я не могу правильно написать ИНЕК.

В каком месте я ошибаюсь? Благодаря

Answer 1

Вы должны зарегистрироваться стол первым:

data = sqlCtx.read.csv(...) 
df.registerTempTable("data") 
sqlContext.sql(...)