Самый оптимизированный способ заменить строку в наборе файлов из списка

Question

1. У меня есть список, содержащий некоторые строки.
2. У меня есть набор файлов, которые могут содержать или не содержать эти строки.
3. Мне нужно заменить эти строки на модифицированную версию строки в каждом экземпляре файлов. (например, string1_abc ->string1_xyz, string2_abc ->string2_xyz). По сути, подстрока, которая должна быть заменена и/или изменена, является общей для всех элементов в списке.

Есть ли какой-либо оптимизированный или простой способ сделать это? Самый наивный алгоритм, который я могу придумать, смотрит на каждую строку в каждом файле и для каждой строки, перебирает каждый из элементов в списке и заменяет это с помощью line.replace. Я знаю, что это дало бы мне O (MNQ) сложность где m = number of files, n = number of lines per file и q = number of items in the list

Примечание:

1. Все размеры файлов не очень большой, так что я не уверен, что чтение строки по строка vs делает file.read() в буфер лучше?
2. q также не очень большой. Список составляет около 40-50 наименований.
3. m довольно большой.
4. n может идти до 5000 строк.

Кроме того, я играл с Python на стороне и не очень привык к нему. Кроме того, я ограничен в использовании Python 2.6

Answer 1

Псевдо Python:

import glob 
LoT=[("string1_abc","string1_xyz"), ("string2_abc","string2_xyz")] 
for fn in glob.glob(glob_describes_your_files): 
    with open(fn) as f_in: 
     buf=f_in.read() # You said n is about 5000 lines so 
          #  I would just read it in 
     for t in LoT: 
      buf=buf.replace(*t) 
    # write buf back out to a new file or the existing one 
    with open(fn, "w") as f_out: 
     f_out.write(buf) 

Что-то вроде этого ...

---

Если файлы BIG, исследуют с помощью mmap на файлах и все остальное более или менее одинаково.