Использование отношения difflib SequenceMatcher для слияния в Pandas

Question

Я пытаюсь выяснить, есть ли способ сделать нечеткие слияния строки в Pandas на основе рациона difflib SequenceMatcher. В принципе, у меня есть два dataframes, которые выглядят следующим образом:

df_a 
company address  merged 
Apple  PO Box 3435  1 

df_b 
company  address 
Apple Inc PO Box 343 

И я хочу, чтобы объединить так:

df_c = pd.merge(df_a, df_b, how = 'left', on = (difflib.SequenceMatcher(None, df_a['company'], df_b['company']).ratio() > .6) and (difflib.SequenceMatcher(None, df_a['address'], df_b['address']).ratio() > .6) 

Есть несколько сообщений, которые близки к тому, что я ищу, но никто из них не работает с тем, что я хочу делать. Любые предложения о том, как сделать это нечеткое слияние с использованием difflib?

Answer 1

Что-то, что может работать: проверить частичные совпадения для всех комбинаций значений столбцов. Если есть совпадение назначить ключ df_b для объединения

df_a['merge_comp'] = df_a['company'] # we will use these as the merge keys 
df_a['merge_addr'] = df_a['address'] 

for comp_a, addr_a in df_a[['company','address']].values: 
    for ixb, (comp_b, addr_b) in enumerate(df_b[['company','address']].values) 
     if difflib.SequenceMatcher(None,comp_a,comp_b).ratio() > .6: 
      df_b.ix[ixb,'merge_comp'] = comp_a # creates a merge key in df_b 
     if difflib.SequenceMatcher(None,addr_a, addr_b).ratio() > .6: 
      df_b.ix[ixb,'merge_addr'] = addr_a # creates a merge key in df_b 

Теперь вы можете объединить

merged_df = pandas.merge(df_a,df_b,on=['merge_addr','merge_comp'],how='inner')