Подсчет гранул и groubpy в pyspark

Question

Я новичок в Spark, и я пытаюсь применить groupby и count к моей dataframe df по атрибуту users.

import pandas as pd 

comments = [ (1, "Hi I heard about Spark"), 
    (1, "Spark is awesome"), 
    (2, None), 
    (2, "And I don't know why..."), 
    (3, "Blah blah")] 

df = pd.DataFrame(comments) 
df.columns = ["users", "comments"] 

, который выглядит, как это панды

 users     comments 
0  1 Hi I heard about Spark 
1  1   Spark is awesome 
2  2      None 
3  2 And I don't know why 
4  3    Blah blah 

Я хочу найти эквивалент следующего кода панд для pyspark

df.groupby(['users'])['users'].transform('count') 

Результат выглядит следующим образом:

0 2 
1 2 
2 2 
3 2 
4 1 
dtype: int64 

Не могли бы вы помочь мне, как я могу это реализовать в PySpark?

Answer 1

Это должно работать в pyspark: df.groupby('user').count(). В pyspark groupby() является псевдонимом для groupBy()Pyspark docs are pretty easy reading with some good examples.

UPDATE:

Теперь, когда я понимаю просьбу немного лучше, это не кажется, что pyspark имеет INPLACE transform поддержку еще. See this answer.

Но вы можете сделать это через соединение.

df2=df.groupby('users').count() 
df.join(df2, df.users==df2.users, "left")\ 
    .drop(df2.users).drop(df.comments) 

+-----+-----+ 
|users|count| 
+-----+-----+ 
| 1| 2| 
| 1| 2| 
| 3| 1| 
| 2| 2| 
| 2| 2| 
+-----+-----+