scrapyd

0зной

1ответ

scrapyd_api.exceptions.ScrapydResponseError: ошибка ввода-вывода диска

, когда я планирую мой паук, а затем scrapyd_api.exceptions.ScrapydResponseError: ошибка ввода-вывода диска дает ошибку. почему такая проблема?

2зной

1ответ

__init __() получил неожиданный аргумент ключевого слова '_job'

Я пытаюсь использовать scrapyd с scrapy. Когда я использую этот код ниже, он отлично работает. import scrapy from scrapy.selector import Selector from scrapy.spiders import CrawlSpider from shikari

1зной

1ответ

Установить старую версию scrapyd

Я попробовал различные способ установить старую версию scrapyd, но и не удалось .. Судо пип установить scrapyd-0.24.6 Sudo APT-получить установку scrapyd-0.24.6 пожалуйста скажите мне, как я могу скач

1зной

1ответ

Scrapyd vs Windows Task Scheduler

Я хочу запустить небольшой набор пауков Scrapy на виртуальной машине Azure. Я ищу решение для автоматизации. На данный момент похоже, что планировщик задач Windows выполнит работу по запуску 3-5 пауко

0зной

1ответ

Использование Scrapyd с аргументами

Я использую Scrapyd для использования scrapy как webservice. Я хотел бы использовать завиток команду с параметрами, как это: curl http://myip:6800/schedule.json -d project=default -d spider=myspider -

1зной

1ответ

Start Scrapyd как сервис

Я хотел бы начать scrapyd как сервис, но когда я начинаю scrapyd, , если я закрою SSH сессию службы scrapyd закрывается автоматически. Когда я пытаюсь запустить как сервис, как это у меня ошибка: [ema

0зной

1ответ

Scrapy DEPTH_PRIORITY не работает

Я бы хотел, чтобы мой Паук проползал сайт start_urls, прежде чем более глубоко изучить веб-сайты. Целью искателя является поиск доменов с истекшим сроком действия. Для примера я создаю страницу с 500

1зной

2ответ

Сбой в scrapyd развертывании

Traceback (самый последний вызов последнего): Файл "/ USR/местные/бен/scrapyd-Deploy", строка 273, в основной() Файл «/ USR/местные/bin/scrapyd-deploy ", строка 95, в основном egg, tmpdir = _build_egg