Python 3 `os.walk` намного медленнее, чем простой` find -type d`

Question

Мне нужно найти все репозитории git в некоторых папках. Раньше я использовал find . -type -d -name .git. Теперь я переписал это в Python 3 и использовал os.walk. Похоже, что ему нужно пройти, чтобы пройти по дереву, чем просто find.

Как я могу ускорить это?

Вот полный код: oldnew

Answer 1

Есть много потоков о os.walk() на SO, он мертв медленно.

• Вы можете быть заинтересованы в scandir (не знаю, если он по-прежнему относится к Python3)
• Вместо того, чтобы ходить по всему дереву и фильтрацию для «.git», быть хорошей глава и использовать glob-module к найти их напрямую.

Answer 2

Если вы имеете в виду реализацию find_repos(), то с помощью os.walk(), вероятно, не оптимально. Причина в том, что как только вы найдете подкаталог .git, нет необходимости искать глубже. Попробуйте написать собственный обход каталога. Вы можете взглянуть на источники в os.py на то, как реализован walk - причина для медлительности может быть написана на Python.

Для других частей вашего нового решения ... Я заметил, что вы не компилируете регулярные выражения, но я не проверял детали.

Предлагаю отделить функциональность от другого сценария Python, затем измерить решение с помощью модуля timeit, а затем попытаться оптимизировать.