scrapyd

0зной

1ответ

scrapyd { «Статус»: «ошибка», «сообщение»: «Использование \» SCRAPY \ «чтобы увидеть доступные команды»

При попытке развернуть свой проект scrapyd с помощью следующей команды: scrapyd-deploy test2 -p NOAA или при попытке запустить мой паук, который я создал: curl http://localhost:6800/schedule.json -d

0зной

1ответ

ввод/вывод для экземпляра scrapyd, размещенного на экземпляре Amazon EC2 linux

Недавно я начал работу по созданию веб-скреперов с использованием scrapy. Первоначально я развернул свои проекты в области scrapy, используя scrapyd. SCRAPY проект, который я построил опирается на дос

0зной

4ответ

Как заставить файл .sh всегда находиться в рабочем состоянии

Я новичок в сценарии оболочки, я хочу, чтобы команда всегда работала. Мой .sh файл - startscrapy.sh #!/bin/bash echo "Scrapyd is started now" scrapyd я изменил разрешение также chmod +x etc/init.d

0зной

1ответ

Защита API-интерфейсов scrapyd и веб-интерфейса

У меня есть настройка Scrapyd для управления лучом Scrapy в лучшем виде, и это делает это очень хорошо. Я просто сомневаюсь в том, как его защитить, поскольку я боюсь, что любой, кто узнает, что это с

0зной

1ответ

Как получить доступ к файловому ресурсу из яйца python при развертывании искателя с помощью scrapyd?

Я хочу загрузить файл JSON из scrapyd, но он никогда не искал файлы, какой бы метод ссылки я использовал. Обычно у меня был открытый метод, за которым следует имя файла, и я помещал имя файла в корень

0зной

1ответ

Установки ITEM_PIPELINE не может быть отменена из терминала

В моем settings.py у меня есть: ITEM_PIPELINES = { 'turing.pipelines.InitFieldsNotInitializedPipeline': 299, 'turing.pipelines.SetNoneIfFieldEmptyPipeline': 300, 'turing.pipelines.Check