Scrapyd значение рабочей силы внутри паука

Question

Рамка Scrapy - Scrapyd сервер.

У меня есть проблема с получением значения полезности внутри паука.

После отправки данных http://localhost:6800/schedule.json Отклик

status = ok 
jobid = bc2096406b3011e1a2d0005056c00008 

Но мне нужно использовать этот JobId внутри текущего паука во время процесса. Его можно использовать для открытого файла {jobid} .log или других динамических причин.

class SomeSpider(BaseSpider): 
    name = "some" 
    start_urls = ["http://www.example.com/"] 
    def parse(self, response): 
     items = [] 
     for val in values: 
      item = SomeItem() 
      item['jobid'] = self.jobid # ???! 
      items.append(item) 
     return items 

Но я вижу это JobId только после того, как задача finihed :(Спасибо!

Answer 1

Я предполагаю, что есть более простой способ, но вы можете извлечь идентификатор задания из командной строки арг. IIRC, scrapyd запускает . паук дает ему JobId в параметрах Просто изучить sys.args где вам нужно JobId

Answer 2

вы можете получить его от SCRAPY_JOBпеременной среды:.

os.environ['SCRAPY_JOB']