Python BS4 Scraping Script Timer

Question

Я пытаюсь запустить этот скрипт для очистки веб-страниц, и я не уверен, что делать дальше. Надеюсь, кто-то знает, что я должен делать.

Я использую BS4, и проблема возникает, когда URL-адрес занимает много времени, и он пропускает этот URL-адрес (оставляя выходной файл с меньшим количеством входов во времена высокой загрузки страницы). Я пытаюсь добавить таймер, чтобы он пропускал только URL-адрес, если он не загружается за x секунд.

Может ли кто-нибудь указать мне правильное направление?

Спасибо!

Answer 1

Попробуйте использовать многопоточную или многопроцессорную обработку для создания потоков, я думаю, что это вызовет поток для каждого запроса, и он не пропустит URL-адрес, если он слишком длинный.