2016-04-07 9 views
1

У меня есть Python панды DataFrame как следующее:Python Pandas: Как создать двоичную матрицу из столбца списков?

 1 
0 a, b 
1  c 
2  d 
3  e 

a, b является строка, представляющая список пользователей особенности

Как я могу преобразовать это в бинарной матрице пользовательских функций, таких как следующие:

 a b c d e 
0 1 1 0 0 0 
1 0 0 1 0 0 
2 0 0 0 1 0 
3 0 0 0 0 1 

Я видел подобный вопрос Creating boolean matrix from one column with pandas но столбец не содержит записи, которые являются списками.

Я попробовал эти подходы, есть способ слить два:

pd.get_dummies()

pd.get_dummies(df[1]) 


    a, b c d e 
0  1 0 0 0 
1  0 1 0 0 
2  0 0 1 0 
3  0 0 0 1 

df[1].apply(lambda x: pd.Series(x.split()))

 1 
0 a, b 
1  c 
2  d 
3  e 

также заинтересованы в различных способов создания этот тип двоичной матрицы!

Любая помощь приветствуется!

Благодаря

ответ

3

Я думаю, что вы можете использовать:

df = df.iloc[:,0].str.split(', ', expand=True) 
     .stack() 
     .reset_index(drop=True) 
     .str.get_dummies() 

print df 
    a b c d e 
0 1 0 0 0 0 
1 0 1 0 0 0 
2 0 0 1 0 0 
3 0 0 0 1 0 
4 0 0 0 0 1 

Редакцией:

print df.iloc[:,0].str.replace(' ','').str.get_dummies(sep=',') 
    a b c d e 
0 1 1 0 0 0 
1 0 0 1 0 0 
2 0 0 0 1 0 
3 0 0 0 0 1 
+0

Там нет необходимости в цепи так много операций вместе просто сделать это один вкладыш .. – DSM

+0

@jezrael Это работало шарм, спасибо много! – jfive

+0

Интересно, что работает для строк '10 000', но ядро ​​iPython умирает на' 100 000' строках вверх, будет пытаться выполнить компьютер в блоках по 10 000 и вертикально объединить. – jfive

0

я написал общую функцию, с поддержкой группировки, чтобы сделать это некоторое время назад:

def sublist_uniques(data,sublist): 
    categories = set() 
    for d,t in data.iterrows(): 
     try: 
      for j in t[sublist]: 
       categories.add(j) 
     except: 
      pass 
    return list(categories) 

def sublists_to_dummies(f,sublist,index_key = None): 
    categories = sublist_uniques(f,sublist) 
    frame = pd.DataFrame(columns=categories) 
    for d,i in f.iterrows(): 
     if type(i[sublist]) == list or np.array: 
      try: 
       if index_key != None: 
        key = i[index_key] 
        f =np.zeros(len(categories)) 
        for j in i[sublist]: 
         f[categories.index(j)] = 1 
        if key in frame.index: 
         for j in i[sublist]: 
          frame.loc[key][j]+=1 
        else: 
         frame.loc[key]=f 
       else: 
        f =np.zeros(len(categories)) 
        for j in i[sublist]: 
         f[categories.index(j)] = 1 
        frame.loc[d]=f 
      except: 
       pass 

    return frame 
In [15]: a 
Out[15]: 
    a group  labels 
0 1 new  [a, d] 
1 2 old [a, g, h] 
2 3 new [i, m, a] 

In [16]: sublists_to_dummies(a,'labels') 
Out[16]: 
    a d g i h m 
0 1 1 0 0 0 0 
1 1 0 1 0 1 0 
2 1 0 0 1 0 1 

In [17]: sublists_to_dummies(a,'labels','group') 
Out[17]: 
    a d g i h m 
new 2 1 0 1 0 1 
old 1 0 1 0 1 0