подключение к проверке установлено до запуска scrapy

Question

Я бы хотел проверить, прежде чем начинать сканирование с помощью python scrapy. Я использую polipo/tor/scrapy на linux.

с этой настройкой, правильно используя тор на своих ползаниях. То, как я проверяю, правильно ли использует scrapy, является обход this page в myspider.

class mySpider(scrapy.Spider): 
    def start_requests(self): 
     yield Request('https://check.torproject.org/', self.parse) 

    def parse(self, response): 
     logging.info("Check tor page:" + str(response.css('.content h1::text'))) 

Однако я думаю, что может быть лучший/чистый способ сделать это. Я знаю, что могу check tor service status или check ip address, но я хочу проверить, правильно ли установлено соединение.

Answer 1

Несколько окончательный способ сделать это - подключиться к порту управления Tor и выдать GETINFO status/circuit-established.

Если Tor имеет активный контур построен, он будет возвращать:

250-status/circuit-established=1 
250 OK 

Если Tor не используется в течение некоторого времени, это может быть 0. Можно также вызвать GETINFO dormant, которые привели бы к 250-dormant=1. Скорее всего, когда вы попытаетесь использовать Tor, он построит схему, и спящий станет 0, а установленная схема будет 1 запрещать любые основные проблемы с сетью.

В любом случае, бездействующий = 0 или установленный по схеме = 1, должно быть достаточно, чтобы сказать, что вы можете использовать Tor.

Это простой протокол, поэтому вы можете просто открыть сокет для порта управления, аутентифицировать и выдавать команды или использовать Controller со Stem.

См. control spec для получения дополнительной информации.