Когда нужно вернуть Предмет, если я не знаю, когда паук закончит?

Question

Таким образом, мой паук занимает список веб-сайтов, и он проскакивает через каждый через start_requests, который yieldrequest, проходящий в item как meta.

Затем паук исследует все внутренние ссылки одного веб-сайта и собирает все внешние ссылки в item. Проблема в том, что я не знаю, когда паук заканчивает сканирование всех внутренних ссылок, поэтому я не могу yielditem.

class WebsiteSpider(scrapy.Spider): 
    name = "web" 

    def start_requests(self): 
     filename = "websites.csv" 
     requests = [] 
     try: 
      with open(filename, 'r') as csv_file: 
       reader = csv.reader(csv_file) 
       header = next(reader) 
       for row in reader: 
        seed_url = row[1].strip() 
        item = Links(base_url=seed_url, on_list=[]) 
        request = Request(seed_url, callback=self.parse_seed) 
        request.meta['item'] = item 
        requests.append(request) 
      return requests 
     except IOError: 
      raise scrapy.exceptions.CloseSpider("A list of websites are needed") 

    def parse_seed(self, response): 
     item = response.meta['item'] 
     netloc = urlparse(item['base_url']).netloc 
     external_le = LinkExtractor(deny_domains=netloc) 
     external_links = external_le.extract_links(response) 
     for external_link in external_links: 
      item['on_list'].append(external_link) 

     internal_le = LinkExtractor(allow_domains=netloc) 
     internal_links = internal_le.extract_links(response) 

     for internal_link in internal_links: 
      request = Request(internal_link, callback=self.parse_seed) 
      request.meta['item'] = item 
      yield request 

Answer 1

start_requests метод должен давать Request объекты. Вам не нужно возвращать список запросов, но только давать запрос, когда он будет готов, это работает, потому что запросы scrapy являются асинхронными.

То же самое происходит с товарами, вам просто нужно давать свои товары, когда вы думаете, что товар готов, я бы порекомендовал для вашего случая просто проверить, нет ли более internal_links, чтобы получить товар, а также вы можете многие пункты, как вы хотите, а затем проверить, какой из них был последним (или один с большим количеством данных):

class WebsiteSpider(scrapy.Spider): 
    name = "web" 

    def start_requests(self): 
     filename = "websites.csv" 
     requests = [] 
     try: 
      with open(filename, 'r') as csv_file: 
       reader = csv.reader(csv_file) 
       header = next(reader) 
       for row in reader: 
        seed_url = row[1].strip() 
        item = Links(base_url=seed_url, on_list=[]) 
        yield Request(seed_url, callback=self.parse_seed, meta = {'item'=item}) 
     except IOError: 
      raise scrapy.exceptions.CloseSpider("A list of websites are needed") 

    def parse_seed(self, response): 
     item = response.meta['item'] 
     netloc = urlparse(item['base_url']).netloc 
     external_le = LinkExtractor(deny_domains=netloc) 
     external_links = external_le.extract_links(response) 
     for external_link in external_links: 
      item['on_list'].append(external_link) 

     internal_le = LinkExtractor(allow_domains=netloc) 
     internal_links = internal_le.extract_links(response) 
     if internal_links: 
      for internal_link in internal_links: 
       request = Request(internal_link, callback=self.parse_seed) 
       request.meta['item'] = item 
       yield request 
     else: 
      yield item 

другая вещь, которую вы могли бы сделать, это создать extension, чтобы делать то, что вам нужно по методу spider_closed и делать что бы вы ни знали, когда паук закончил.