Каков наилучший способ поиска большого количества слов в большом количестве файлов?

Question

У меня около 5000 файлов, и мне нужно найти слова в каждом из них из 10000 слов. В моем текущем коде используется (очень) длинное регулярное выражение, но это очень медленно.

wordlist = [...list of around 10000 english words...] 
filelist = [...list of around 5000 filenames...] 
wordlistre = re.compile('|'.join(wordlist), re.IGNORECASE) 
discovered = [] 

for x in filelist: 
    with open(x, 'r') as f: 
     found = wordlistre.findall(f.read()) 
    if found: 
     discovered = [x, found] 

Это проверяет файлы со скоростью около 5 файлов в секунду, что намного быстрее, чем делать это вручную, однако он по-прежнему очень медленно. Есть лучший способ сделать это?

Answer 1

Если у вас есть доступ к grep в командной строке, вы можете попробовать следующее:

grep -i -f wordlist.txt -r DIRECTORY_OF_FILES 

Вам нужно создать файл wordlist.txt всех слов (одно слово в каждой строке).

Любых строк в любом из файлов, которые соответствуют любым из ваших слов будут напечатаны в STDOUT в следующем формате:

<path/to/file>:<matching line> 

Answer 2

Без дополнительной информации о данных, пара мыслей использовать словари вместо списков и уменьшить данные, необходимые для поиска/сортировки. Также рекомендуется использовать re.split, если ваши разделители не так чисты, как показано ниже:

wordlist = 'this|is|it|what|is|it'.split('|') 
d_wordlist = {} 

for word in wordlist: 
    first_letter = word[0] 
    d_wordlist.setdefault(first_letter,set()).add(word) 

filelist = [...list of around 5000 filenames...] 
discovered = {} 

for x in filelist: 
    with open(x, 'r') as f: 
     for word in f.read(): 
      first_letter = word[0] 
      if word in d_wordlist[first_letter]: 
       discovered.get(x,set()).add(word) 

return discovered 

Answer 3

Aho-Corasick algorithm был разработан именно для такого использования, и реализован как fgrep в Unix. С помощью POSIX для выполнения этой функции определяется команда grep -F.

Он отличается от обычного grep тем, что использует только фиксированные строки (не регулярные выражения) и оптимизирован для поиска большого количества строк.

Чтобы запустить его на большом количестве файлов, указать точные файлы в командной строке, или передать их через xargs:

xargs -a filelist.txt grep -F -f wordlist.txt 

Функция xargs является для заполнения командной строки с, как многие файлов, и запустите grep столько раз, сколько необходимо;

grep -F -f wordlist.txt (files 1 through 2,500 maybe) 
grep -F -f wordlist.txt (files 2,501 through 5,000) 

Точное количество файлов на вызов зависит от длины отдельных имен файлов, и размера ARG_MAX постоянная в вашей системе.