Как сохранить таблицу в sql pyspark?

Question

Я хочу сохранить мою результирующую таблицу в текстовый файл csv или аналогичный, чтобы иметь возможность выполнять визуализацию с помощью RStudio.

Я использую pyspark.sql для выполнения некоторых запросов в настройке hadoop. Я хочу сохранить результат в hadoop, а затем скопировать результат на локальный диск.

myTable = sqlContext.sql("SOME QUERIES") 
myTable.show() # Show my result 
myTable.registerTempTable("myTable") # Save as table 
myTable.saveAsTextFile("SEARCH PATH") # Saving result in my hadoop 

Это возвращает это:
AttributeError: объект 'DataFrame' не имеет атрибута 'saveAsTextFile'

Это, как я обычно делаю это только при использовании pyspark т.е. не pyspark.sql.

А затем скопировать на локальный диск с

hdfs dfs –copyToLocal SEARCH PATH 

Может кто-нибудь мне помочь?

Answer 1

Вы можете использовать DataFrameWriter с одним из поддерживаемых форматов. Например, для JSON:

myTable.write.json(path)