os.walk/scandir slow на сетевом диске

Question

Я пытаюсь найти все файлы .xlsm (и получить их статистику) на сетевом диске O:\ при условии, что они не находятся в папке с именем, Test. Я использовал os.walk и переключился на scandir.walk, потому что он быстрее. Сейчас я просто ограничен скоростью сети. Этот код, похоже, имеет много взаимодействия между скриптом и сетевым диском. Мой код ниже. Есть ли способ ускорить это, возможно, используя пакетный файл? Я нахожусь в Windows.

from scandir import scandir, walk 
import sys 

def subdirs(path): 
    for path, folders, files in walk(path): 
     if 'Test' not in path: 
      for sub_files in scandir(path): 
       if '.xlsm' in sub_files.path: 
        yield subfiles.stat() 

for i in subdirs('O:\\'): 
    print i 

Answer 1

Вы дважды сканируя каждый путь, когда-то неявно с помощью walk, затем снова явно повторно scandir тами pathwalk вернулся без причины. walk уже вернул files, так что внутренний контур может избежать двойного сканирования, используя только то, что оно было дано:

def subdirs(path): 
    for path, folders, files in walk(path): 
     for file in files: 
      if '.xlsm' in file: 
       yield os.path.join(path, file) 

Для решения обновленного вопроса, вы, вероятно, хотите или скопировать существующий scandir.walk код и изменить он должен вернуть list s из DirEntry s вместо list с именами или написать аналогичный специальный код с обложкой для ваших нужд; в любом случае это позволит избежать двойного сканирования, сохраняя при этом низкое накладное поведение scandir. Например:

def scanwalk(path, followlinks=False): 
    '''Simplified scandir.walk; yields lists of DirEntries instead of lists of str''' 
    dirs, nondirs = [], [] 
    for entry in scandir.scandir(path): 
     if entry.is_dir(follow_symlinks=followlinks): 
      dirs.append(entry) 
     else: 
      nondirs.append(entry) 
    yield path, dirs, nondirs 
    for dir in dirs: 
     for res in scanwalk(dir.path, followlinks=followlinks): 
      yield res 

Вы можете заменить использование walk с ним, как это (я также добавил код, чернослив каталоги с Test в них, так как все каталоги и файлы под ними были бы отвергнуты исходным кодом, но вы все еще пройти их без надобности):

def subdirs(path): 
    # Full prune if the path already contains Test 
    if 'Test' in path: 
     return 
    for path, folders, files in scanwalk(path): 
     # Remove any directory with Test to prevent traversal 
     folders[:] = [d for d in folders if 'Test' not in d.name] 
     for file in files: 
      if '.xlsm' in file.path: 
       yield file.stat() # Maybe just yield file to get raw DirEntry? 

for i in subdirs('O:\\'): 
    print i 

Кстати, вы можете перепроверить, что вы правильно установили/построил C ускоритель для scandir, _scandir. Если _scandir не построен, модуль scandir обеспечивает резервные реализации с использованием ctypes, но они значительно медленнее, что может объяснить проблемы с производительностью. Попробуйте запустить import _scandir в интерактивной сессии Python; если он поднимает ImportError, то у вас нет ускорителя, поэтому вы используете медленную резервную реализацию.