Как настроить проксимиш с помощью Scrapy?

Question

У меня есть код Scrapy, который я бы начал использовать с proxymesh. proxymesh documentation говорит загадочно:

Для ползания рамок Scrapy, вы должны установить http_proxy переменного окружение [...] то activate в HttpProxyMiddleware.

Я понимаю, как установить переменную окружения http_proxy, но как «активировать HttpProxyMiddleware» не полностью видно из документации. Я думаю, Мне нужно добавить следующее settings.py в моем проекте Scrapy:

DOWNLOADER_MIDDLEWARES = { 
    'myproject.middleware.ProxyMeshMiddleware': 100, 
} 

Но я полагаю, мне нужно добавить фактический код промежуточного слоя, предположительно в middleware.py файле?

Я нашел this gist, поэтому, я думаю, я мог просто скопировать и вставить его в middleware.py, но я не уверен, насколько это точно. Кажется, что используют различные переменные среды из того, что рекомендуется в документации proxymesh.

Answer 1

Суть в том, что вы ссылаетесь на чтение настроек ProxyMesh из переменных окружения ОС, в противном случае это слегка модифицированный код базовой Scrapy HttpProxyMiddleware и должен хорошо работать.

Вы также можете посмотреть мою очень простую реализацию промежуточного ПО Proxymesh https://github.com/mizhgun/scrapy-proxymesh, которая поддерживает прокси-ротацию (если у вас есть план ProxyMesh с несколькими конечными точками) и настраиваемый тайм-аут.