Как отобразить поворотную фрейму с PySark, Pyspark?

Question

Я не могу отображать/показывать/печатать развернутый фрейм с PySpark. Хотя кадр данных, по-видимому, поворачивается, когда я пытаюсь использовать show() на нем, он говорит AttributeError: 'GroupedData' object has no attribute 'show'.

Вот код

meterdata = sqlContext.read.format("com.databricks.spark.csv").option("delimiter", ",").option("header", "false").load("/CBIES/meters/") 

metercols = meterdata.groupBy("C0").pivot("C1") 
metercols.show() 


Output: Traceback (most recent call last): File "/tmp/zeppelin_pyspark-8003809301447367155.py", line 239, in eval(compiledCode) File " ", line 1, in AttributeError: 'GroupedData' object has no attribute 'show' 

Answer 1

Метод pivot() возвращает объект GroupedData, как groupBy(). Вы не можете использовать show() на объекте GroupedData, не используя при этом агрегатную функцию (например, sum() или даже count()).

См. this article или PySpark documentation для получения дополнительной информации.