Python + Pandas + Spark - Как импортировать данные в рамку данных Pandas и преобразовать ее в словарь?

Question

Как я могу импортировать dataframe в DataFrame Pandas и преобразовать его в словарь?

У меня есть этот dataframe созданный из искры,

sc = SparkContext(appName="PythonSQL") 
    sqlContext = SQLContext(sc) 

    path = os.path.join(os.environ['SPARK_HOME'], "examples/src/main/resources/people.json") 

# Create the DataFrame 
df = sqlContext.read.json(path) 

# Register this DataFrame as a table. 
df.registerTempTable("people") 

# SQL statements can be run by using the sql methods provided by sqlContext 
teenagers = sqlContext.sql("SELECT name FROM people") 

sc.stop() 

Когда я пытаюсь импортировать его в панд,

teenagers = pd.DataFrame(teenagers, columns=['name']) 

Я получаю эту ошибку,

[client 127.0.0.1:50885] PandasError: DataFrame constructor not properly called!

В конце концов, Я просто хочу преобразовать dataframe в словарь,

dict = teenagers.set_index('name').to_dict() 
print dict 

Любые идеи?

Answer 1

A Spark DataFrame может быть преобразован в DataFrame pandas с помощью метода toPandas.