Как я могу автоматизировать мои пауки, используя scrapyd?

Question

Я знаю, это, вероятно, кажется смешным. Я отказался от внедрения scrapyd в windows и создал машину ubuntu и получил все, что отлично работает. У меня 3 проекта каждый со своим собственным пауком. Я могу запускать мои пауки из терминала с помощью:

curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider2 

Все, кажется, работает в веб-интерфейс, а также с Царапины пунктов с момента, когда я запускаю приведенный выше код, показывающий в правильных местах.

Я хочу запускать проект 1 каждый день в 12:00, проект 2 каждый второй день в 2 часа ночи и проект 3 каждые 2 недели в 4 часа ночи. Пожалуйста, помогите мне узнать, как это сделать.

Является ли scrapyd даже подходящим решением для этой задачи?

Answer 1

Запланированные задания, похоже, делают трюк. Я должен сказать, что мне осталось интересно, действительно ли стоило усилий по созданию машины ubuntu с единственной целью запуска scrapyd, когда я мог только что планировать команды обхода scrapy с помощью schtasks в окнах.