как разобрать строку для паука из другого скрипта

Question

Я новичок в python и scrapy. Я бег scrapy-ctl.py из другого питона сценария с использованием подпроцесса module.But Я хочу, чтобы разобрать «URL начала» на паук из этого сценария itself.Is можно разобрать start_urls (которые определяется в сценарии, из которого запускается scrapy-ctl), к пауку? Я буду признателен за любые предложения или идеи относительно этого .... :)

Поблагодарив заранее ....

Answer 1

Вы можете переопределить метод start_requests() в вашем паука, чтобы получить исходные запросы (которые, по умолчанию генерируются с использованием URL-адресов в атрибуте start_urls).