Прослушивание новых файлов Python

Question

Я пытаюсь найти решение проблемы, которая у меня есть ... У меня есть большая доля, которая содержит сотни тысяч (если не миллионы) файлов и новых файлов, поступающих каждую секунду. Я пытаюсь написать приложение, которое ускорит поиск файлов в общей папке. Моя идея состояла в том, чтобы вставить все имена файлов в Redis DB в формате: {'file_name','file_path'}, а не когда файл нужен, чтобы потянуть его путь из базы данных ... Проблема начинается, когда я пытаюсь индексировать все старые файлы (я предполагаю, что это займет не менее нескольких часов), одновременно прислушиваясь к новым файлам, которые поступают во время процесса. Это пример того, что I'am пытается сделать:

import redis 
import os 
r = redis.StrictRedis(host='localhost',port=6379,db=0) 
for root, dirs, files in os.walk(r'D:\\'): 
    for file in files: 
     r.set(os.path.basename(file),os.path.join(root, file)) 
     print 'The file %s was succefuly added' %os.path.basename(file) 

, как я, как предполагается модифицировать код, который я буду держать прослушивание для новых файлов?

спасибо за вашу помощь! =)

Answer 1

Вы должны взглянуть на watchdog библиотеку. Он делает именно то, что вы ищете. Вот пример его использования:

import sys 
import time 
import logging 
from watchdog.observers import Observer 
from watchdog.events import LoggingEventHandler 

if __name__ == "__main__": 
    logging.basicConfig(level=logging.INFO, 
         format='%(asctime)s - %(message)s', 
         datefmt='%Y-%m-%d %H:%M:%S') 
    path = sys.argv[1] if len(sys.argv) > 1 else '.' 
    event_handler = LoggingEventHandler() 
    observer = Observer() 
    observer.schedule(event_handler, path, recursive=True) 
    observer.start() 
    try: 
     while True: 
      time.sleep(1) 
    except KeyboardInterrupt: 
     observer.stop() 
    observer.join()