PySpark 2.0 Размер или форма DataFrame

Question

Я пытаюсь выяснить размер/форму DataFrame в PySpark. Я не вижу ни одной функции, которая может это сделать.

В Python я могу сделать

data.shape() 

Есть ли аналогичная функция в PySpark. Это мое текущее решение, но я ищу для элемента один

row_number = data.count() 
column_number = len(data.dtypes) 

Вычисление числа столбцов не является идеальным ...

Answer 1

Я думаю, что это не похоже функция как data.shape в Спарк. Но я буду использовать len(data.columns) вместо len(data.dtypes)

Answer 2

print((df.count(), len(df.columns))) 

Answer 3

df.count() для числа строк