У меня есть несколько проектов по очистке. Я развертываю их все с помощью scrapyd. Некоторые из пауков медленны, а другие быстрые. Теперь я хочу сначала запустить быстрых пауков. Как сделать?Scrapyd: Как установить приоритет задачи scrapyd?
Я столкнулся с тем же вопросом. Но я прочитал исходный код scrapyd, и кажется, что scrapyd может справиться с этим. Однако это не документировано.
Вам необходимо добавить аргумент с именем priority с требуемым значением. Приоритет по умолчанию равен 0.
Например:
curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d priority=1
Это очень общий вопрос, вы можете получить ответы на некоторые вопросы, если вы опубликуете попытки, которые вы сделали, чтобы решить вашу проблему. Вы пытались написать свой собственный код? –
ли это сработало для вас? – zhilevan