os.walk() кеширование/ускорение

Question

У меня есть прототип сервера [0], который делает os.walk() [1] для каждого запроса, который делает клиент [0].

Я в настоящее время изучает способы:

• кэширования этой информации в памяти,
• ускорения запросов, и
• , мы надеемся, что позволяет для расширения в хранения метаданных и сохранение данных в дальнейшем.

Я нахожу SQL complicated для древовидных структур, поэтому я думал, я хотел бы получить несколько советов, прежде чем на самом деле передаванием SQLite

Есть ли кросс-платформенный, встраиваемый или ножки пучка в состоянии базы данных не-SQL, которые могут быть способный обрабатывать данные такого рода?

• У меня есть небольшой (10k-100k файлов) список.
• У меня очень небольшое количество соединений (возможно, 10-20).
• Я хочу иметь возможность масштабирования для обработки метаданных.

[0] сервер и клиент на самом деле тот же кусок программного обеспечения, это P2P приложения, который предназначен для обмена файлами по локальной доверенной сети с вне основного сервера, используя zeroconf для обнаружения и витой для почти все остальное

[1] время запроса в настоящее время 1.2S с os.walk() на 10000 файлов

Вот соответствующая функция в моем коде Python, что делает ходьбу:

def populate(self, string): 
    for name, sharedir in self.sharedirs.items(): 
     for root, dirs, files, in os.walk(sharedir): 
      for dir in dirs: 
       if fnmatch.fnmatch(dir, string): 
        yield os.path.join(name, *os.path.join(root, dir)[len(sharedir):].split("/")) 
      for file in files: 
       if fnmatch.fnmatch(file, string): 
        yield os.path.join(name, *os.path.join(root, ile)[len(sharedir):].split("/")) 

Answer 1

Вы посмотрели MongoDB? Как насчет mod_python? mod_python должен позволить вам сделать ваш os.walk() и просто сохранить данные в структурах данных Python, так как сценарий является постоянным между соединениями.

Answer 2

Вам не нужно сохранять древовидную структуру - на самом деле, ваш код занят disantling естественная древовидная структура дерева каталогов в линейную последовательность, так зачем вам нужно перезапускать с дерева? время?

Похоже, что вам нужно, это просто упорядоченная последовательность:

i X result of os.path.join for X 

где X, строка, имена либо файла или каталога (вы относиться к ним как раз то же самое), я это постепенно увеличивающиеся целое число (для сохранения порядка), а столбец результатов, также строка, является результатом os.path.join(name, *os.path.join(root, & c.

Это, безусловно, легко установить в таблицу SQL!

Чтобы создать таблицу в первый раз, просто удалите охранник if fnmatch.fnmatch (и string аргумента) из вашей функции заселить, дают реж или файл до результата os.path.join и использовать cursor.executemany сохранить enumerate (или используйте самоинструментальный столбец, ваш выбор).Чтобы использовать таблицу, populate становится по существу:

select result from thetable where X LIKE '%foo%' order by i 

где string является foo.

Answer 3

Сначала я неправильно понял вопрос, но я думаю, что у меня есть решение сейчас (и в значительной степени отличается от моего другого ответа, чтобы гарантировать новый). В основном, вы выполняете обычный запрос при первом запуске в каталоге, но сохраняете полученные значения. Во второй раз вы просто возвращаете эти сохраненные значения. Я завернул вызов os.walk(), потому что он короткий, но вы можете так же легко обернуть ваш генератор в целом.

cache = {} 
def os_walk_cache(dir): 
    if dir in cache: 
     for x in cache[ dir ]: 
     yield x 
    else: 
     cache[ dir ] = [] 
     for x in os.walk(dir): 
     cache[ dir ].append(x) 
     yield x 
    raise StopIteration() 

Я не уверен, ваши требования к памяти, но вы можете рассмотреть периодически вычищать cache.