Как очистить несколько нечетный URL с помощью Scrapy

Question

Так что в основном я хочу использовать Scrapy.org, чтобы очистить форум. Проблема, с которой я сталкиваюсь, заключается в том, что ссылка на каждый поток несколько вдоль этой строки http://mywebsite.com/forum/My-Thread-Name-t213.html Теперь, если я пытаюсь ввести только http://mywebsite.com/forum/t213.html, это не сработает, оно не показывает тему с этим идентификатором, поэтому я действительно не знаю как я мог бы генерировать имя потока и идентификатор каждой темы, чтобы иметь возможность очистить его. Я бы очень признателен за помощь в этом, спасибо заранее!

Answer 1

В отсутствие фактического URL-адреса для тестирования я не могу быть абсолютно уверен, что это сработает. По существу вам нужно использовать регулярное выражение в правиле CrawlSpider, которое начинается с вашего базового URL-адреса и совпадает с ним, плюс любая строка, за которой следует -t, плюс любое число, а затем, наконец, .html.

from scrapy.contrib.spiders import CrawlSpider, Rule 
from scrapy.selector import HtmlXPathSelector 
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor 

class ThreadSpider(CrawlSpider): 
    name = "mywebsite" 
    allowed_domains = ["mywebsite.com"] 
    start_urls = ["http://mywebsite.com/forum"] 
    rules = [Rule(SgmlLinkExtractor(allow = ('/[^/]+-t\d+\.html')), follow=True, 
     callback='parse_item'),] 

    def parse_item(self, response): 
     hxs = HtmlXPathSelector(response) 
     print "We're scraping %s" % response.url 
     # do something with the hxs object