У меня несколько пауков, работающих в нескольких экземплярах (4) параллельно. Все они используют почти 100% -ный процессор. Я развернул их, используя scrapyd. Попытался изменить настройки scrapyd, так
Я написал эту функцию: def closed_handler(self, spider):
stats = self.crawler.stats.get_stats()
mailer = MailSender()
mailer.send(to=["[email protected]"], subject="Scrap Ended", bod
Я, кажется, столкнулся с проблемой с развертыванием Spider Spider, вызвавшим некоторые ошибки при прослушивании, хотя я не смог успешно использовать какие-либо из предыдущих ответов, потому что это др