маркировка дубликатов в файле CSV

Question

Я озадачен с проблемой, показанной в примере ниже:

"ID","NAME","PHONE","REF","DISCARD" 
1,"JOHN",12345,, 
2,"PETER",6232,, 
3,"JON",12345,, 
4,"PETERSON",6232,, 
5,"ALEX",7854,, 
6,"JON",12345,, 

Я хочу, чтобы обнаружить дубликаты в колонке «PHONE», и отметьте последующие дубликаты с помощью колонки «REF », со значением, указывающим на„ID“из первого пункта, а значения„Да“для„колонок DISCARD“

"ID","NAME","PHONE","REF","DISCARD" 
1,"JOHN",12345,1, 
2,"PETER",6232,2, 
3,"JON",12345,1,"Yes" 
4,"PETERSON",6232,2,"Yes" 
5,"ALEX",7854,, 
6,"JON",12345,1,"Yes" 

Итак, как я могу идти об этом? Я пробовал этот код, но моя логика была неправильной, конечно.

import csv 
myfile = open("C:\Users\Eduardo\Documents\TEST2.csv", "rb") 
myfile1 = open("C:\Users\Eduardo\Documents\TEST2.csv", "rb") 

dest = csv.writer(open("C:\Users\Eduardo\Documents\TESTFIXED.csv", "wb"), dialect="excel") 

reader = csv.reader(myfile) 
verum = list(reader) 
verum.sort(key=lambda x: x[2]) 
for i, row in enumerate(verum): 
    if row[2] == verum[i][2]: 
     verum[i][3] = row[0] 

print verum 

Ваше руководство и помощь будут очень признательны.

Answer 1

Единственное, что вы должны хранить в памяти, пока оно работает, - это карта номеров телефонов с их идентификаторами.

map = {} 
with open(r'c:\temp\input.csv', 'r') as fin: 
    reader = csv.reader(fin) 
    with open(r'c:\temp\output.csv', 'w') as fout: 
     writer = csv.writer(fout) 
     # omit this if the file has no header row 
     writer.writerow(next(reader)) 
     for row in reader: 
      (id, name, phone, ref, discard) = row 
      if map.has_key(phone): 
       ref = map[phone] 
       discard = "YES" 
      else: 
       map[phone] = id 
      writer.writerow((id, name, phone, ref, discard)) 

Answer 2

Звучит как домашнее задание. Поскольку это CSV-файл (и, следовательно, изменение размера записи почти невозможно), вам лучше всего загрузить весь файл в память и манипулировать им там, прежде чем записывать его в новый файл. Создайте список строк, которые являются исходными строками файла. Затем создайте карту, вставьте в номер телефона (ключ) и значение (id). Перед вставкой вы ищете номер, если он уже существует, вы обновляете строку, содержащую дублированный номер телефона. Если он еще не на карте, вы вставляете пару (телефон, идентификатор).

Answer 3

from operator import itemgetter 
from itertools import groupby 

import csv 
verum = csv.reader(open('data.csv','rb')) 

verum.sort(key=itemgetter(2,0)) 
def grouper(verum): 
    for key, grp in groupby(verum,itemgetter(2)): 
     # key = phone number, grp = records with that number 
     first = grp.next() 
     # first item gets its id written into the 4th column 
     yield [first[0],first[1],first[2],first[0],''] #or list(itemgetter(0,1,2,0,4)(first)) 
     for x in grp: 
      # all others get the first items id as ref 
      yield [x[0],x[1],x[2], first[0], "Yes"] 

for line in sorted(grouper(verum), key=itemgetter(0)): 
    print line 

Выходы:

['1', 'JOHN', '12345', '1', ''] 
['2', 'PETER', '6232', '2', ''] 
['3', 'JON', '12345', '1', 'Yes'] 
['4', 'PETERSON', '6232', '2', 'Yes'] 
['5', 'ALEX', '7854', '5', ''] 
['6', 'JON', '12345', '1', 'Yes'] 

Запись данных обратно читателю ;-)

Answer 4

Я знаю одну вещь. Я знаю, что вам не нужно читать весь файл в памяти, чтобы выполнить это.

import csv 
myfile = "C:\Users\Eduardo\Documents\TEST2.csv" 

dest = csv.writer(open("C:\Users\Eduardo\Documents\TESTFIXED.csv", "wb"), dialect="excel") 

phonedict = {} 

for row in cvs.reader(open(myfile, "r")): 
    # setdefault sets the value to the second argument if it hasn't been set, and then 
    # returns what the value in the dictionary is. 
    firstid = phonedict.setdefault(row[2], row[0]) 
    row[3] = firstid 
    if firstid is not row[0]: 
     row[4] = "Yes" 
    dest.writerow(row) 

Answer 5

Я работаю с большими 40k плюс записи файлов CSV, самый простой способ избавиться от простофили его с Access. 1. Создать новую базу данных, 2, вкладка «Таблицы» Получить внешние данные 3. Сохранить таблицу. 4. Вкладка «Запросы» Новый мастер поиска ошибок (совпадение по полю телефона, показать все поля и счет) 5. Сохранить запрос (экспорт имеет .txt, но имя dupes.txt) 6. Импортировать результат запроса в новую таблицу, не импортировать поле с номером ошибки 7. Запрос Найти непревзойденный (сопоставить по полю телефона, показать все поля в результате сохранить запрос, а затем экспортировать .txt, но name unique.txt) 8. Внести уникальный файл в существующую таблицу (обманы) 9. Теперь вы можете сохранять и экспортировать снова то, что вам нужно, и не иметь никаких обманов