Нечеткое сравнение двух столбцов

Question

У меня есть файл CSV с поисковыми запросами (числами и текстом), которые я бы хотел сравнить со списком других терминов (цифр и текста), чтобы определить, есть ли совпадения или потенциальные совпадения. Затем я хотел бы, чтобы все результаты были написаны в новом CSV для ручного просмотра. Я использую плагин fuzzywuzzy для создания «оценки», чтобы определить, насколько близко между этими условиями существует совпадение. В идеале я мог бы фильтровать по отношению.

В моем текущем коде сравниваются строки файлов один на один вместо одной строки в первом файле для всех строк во втором; который мне нужен.

Как мне перенести нечеткий поиск для каждой строки в файле1 по всем строкам в файле2?

from fuzzywuzzy import fuzz 
import csv 
from itertools import zip_longest 

f = open('FuzzyMatch2.csv', 'wt') 
writer = csv.writer(f, lineterminator = '\n') 


file1_loc = 'LookUp.csv' 
file2_loc = 'Prod.csv' 

file1 = csv.DictReader(open(file1_loc, 'r'), delimiter=',', quotechar='"') 
file2 = csv.DictReader(open(file2_loc, 'r'), delimiter=',', quotechar='"') 

for row in file1: 
    for l1, l2 in zip_longest(file1, file2): 
     if all((l1, l2)): 
      partial_ratio = fuzz.token_sort_ratio(str(l1['SearchTerm']), str(l2['Description']))  

     a = [l1,l2,partial_ratio] 
     writer.writerow(a) 

f.close() 

Ниже приведена более чистая версия вышеуказанного кода, но у него все еще есть проблемы. Код исправителя

IndexError: list index out of range

Любая идея, как получить список в пределах диапазона и код работы?

from fuzzywuzzy import process 
import csv 

save_file = open('FuzzyResults.csv', 'wt') 
writer = csv.writer(save_file, lineterminator = '\n') 

def parse_csv(path): 
    with open(path,'r') as f: 
     for row in f: 
      row = row.split() 
      yield row 


if __name__ == "__main__": 
    ## Create lookup dictionary by parsing the products csv 
    data = {} 
    for row in parse_csv('Prod.csv'): 
     data[row[0]] = row[1] 

    ## For each row in the lookup compute the partial ratio 
    for row in parse_csv("LookUp.csv"): 

     for found, score in process.extract(row, data, limit=100): 
      if score >= 10: 
       print('%d%% partial match: "%s" with "%s" ' % (score, row, found)) 
       Digi_Results = [score, row, found] 
       writer.writerow(Digi_Results) 


save_file.close() 

Answer 1

Код ниже будет работать. Убедитесь, что установлен последний FuzzyWuzzy - последнее обновление 28APR15. В противном случае вы получите сообщение об ошибке «unicode». Надеюсь это поможет!

from fuzzywuzzy import process 
import csv 

save_file = open('FuzzyResults3.csv', 'w') 
writer = csv.writer(save_file, lineterminator = '\n') 

def parse_csv(path): 

    with open(path,'r') as f: 
     reader = csv.reader(f, delimiter=',') 
     for row in reader: 
      yield row 


if __name__ == "__main__": 
    ## Create lookup dictionary by parsing the products csv 
    data = {} 
    for row in parse_csv('File1.csv'): 
     data[row[0]] = row[1] 

    ## For each row in the lookup compute the partial ratio 
    for row in parse_csv("File2.csv"): 
     #print(process.extract(row,data, limit = 100)) 
     for found, score, matchrow in process.extract(row, data, limit=100): 
      if score >= 60: 
       print('%d%% partial match: "%s" with "%s" ' % (score, row, found)) 
       Digi_Results = [score, row, found] 
       writer.writerow(Digi_Results) 


save_file.close() 

Answer 2

Мое предположение было бы, что может быть, вы хотите изменить row.split() к row.split(','), но не можете сказать наверняка, не видя входные файлы, а также точный отслеживающие ошибок.