Декартово произведение только одного столбца в Pyspark?

Question

Как указано в вопросе, я хочу сделать декартово только с одним столбцом rdd. Пример:

rdd1: 
id1 A 
id2 B 
id3 C 

Мой вывод должен быть:

id1 A A 
id1 A B 
id1 A C 
id2 B A 
id2 B B 
id2 B C 
id3 C A 
id3 C B 
id3 C C 

Answer 1

Вы можете сделать это, создавая новый RDD только второй колонке, rdd2=rdd.map(lambda l: l[1]). Затем сделайте cartesian этих два РДА:

rdd.cartesian(rdd2).map(lambda v: (v[0][0],v[0][1],v[1]))

map есть, потому что cartesian будет возвращать строки как ((id1,A),A) и map преобразует что (id1,A,A)