Найти недопустимые изображения в огромной коллекции

Question

Мне нужен способ обнаружения файлов с поврежденными изображениями в огромной коллекции (десятки тысяч изображений). То, как я это делаю сейчас, - это использовать PIL следующим образом:

try: 
    im = PIL.Image.open(f) 
    # image valid 
except: 
    # image invalid 
    ... 

Но это слишком медленно. Для проверки всех файлов потребуется несколько часов.

Есть ли более быстрый способ найти все недопустимые изображения в папке с помощью Python?

imghdr Недостаточно, к сожалению, потому что он не обнаруживает усеченных изображений.

Answer 1

Вы можете ускорить его, свернув код с вашего вопроса в функции. Затем создайте список всех имен файлов, которые нужно протестировать, и используйте Pool.map из модуля multiprocessing, чтобы применить эту функцию параллельно ко всем файлам, используя столько ядер, что и ваш компьютер.

Если ваша машина имеет N ядер, это может привести к ускорению фактора N. На практике это будет меньше из-за multiprocessing служебных и возможно ограничений пропускной способности ввода-вывода.