Scrapyd Retry, если Errback в скрученной отсрочке/Не удалось открыть туннель CONNECT Ошибка

Question

Я работаю с циклом прокси в Scrapy, иногда у некоторых прокси есть ошибки, и это останавливает мой паук. Ошибка: «Не удалось открыть CONNECT tunnel " Как мне изменить код, чтобы повторить попытку с другим прокси-сервером в случае этой ошибки?

Вот код, который должен быть изменен: https://github.com/scrapy/scrapy/blob/master/scrapy/core/downloader/handlers/http11.py

Answer 1

Что-то вроде этого:

from scrapy.core.downloader.handlers.http11 import TunnelError 


class RetryMiddleware(RetryMiddleware): 
    def process_exception(self, request, exception, spider): 
     if (isinstance(exception, self.EXCEPTIONS_TO_RETRY) or isinstance(exception, TunnelError)) \ 
       and 'dont_retry' not in request.meta: 
      return self._retry(request, exception, spider) 

В settings.py:

DOWNLOADER_MIDDLEWARES = { 
    'myproject.myretry.RetryMiddleware': 200, 
    'scrapy.contrib.downloadermiddleware.retry.RetryMiddleware': None 
}