scrapyd

2зной

1ответ

Scrapyd Retry, если Errback в скрученной отсрочке/Не удалось открыть туннель CONNECT Ошибка

Я работаю с циклом прокси в Scrapy, иногда у некоторых прокси есть ошибки, и это останавливает мой паук. Ошибка: «Не удалось открыть CONNECT tunnel " Как мне изменить код, чтобы повторить попытку с др

1зной

1ответ

Фатальная ошибка при запуске scrapyd в терминале

Я только что установил scrapyd на Ubuntu 14.04 и после установки, я просто ввел «scrapyd» в командной строке и получил: не удалось загрузить приложение: Нет модуль с именем txweb Я использовал как общ

0зной

1ответ

Mock в коде производства

Постараюсь быть прямым здесь: Я программист Руби, начиная с Python, и я пытаюсь что-то с Scrapy. Я смотрю в код моя компания получила от третьей стороны, и одна вещь, ломает мой Scrapyd развертывания

0зной

1ответ

Как получить запрос и количество ответов в scrapyd?

Я пытаюсь получить запрос и количество ответов в scrapyd, в то время как работает несколько пауков 8-спайдер динамически. Я пытаюсь получить их с помощью python. следующие счетчики: enter code here{'d

12зной

1ответ

Утечка памяти падающего луча

У моего паука серьезная утечка памяти. Через 15 минут запустите память 5gb, и scrapy сообщает (используя prefs()), что 900k запрашивает объекты и все. Что может быть причиной такого большого количеств

1зной

1ответ

не удалось развернуть проект portia с помощью scrapyd-deploy из-за того, что «модуль не найден ..»

Я оцениваю portia и запускаю проблему, развертывая ее на scrapyd. При попытке развернуть мою Порцию проект с использованием scrapyd-deploy local -p new_project из моего каталога Порции проекта я пол

6зной

1ответ

Горизонтальное масштабирование Scrapyd

Какой инструмент или набор инструментов вы бы использовали для горизонтального масштабирования scrapyd, добавляя новые машины в scrapyd-кластер динамически и имея N экземпляров на машину, если это нео

0зной

1ответ

Как scrapy пишет в журнале во время запуска паука?

Во время работы Scrapy паука, я вижу, что сообщение журнала имеет "DEBUG:", который имеет 1. DEBUG: подполз (200) (GET http://www.example.com) (реферер: Нет) 2. DEBUG: шнекового из (200) http://www.ex

0зной

1ответ

Python EGG: включают верхнего уровня реж

У нас есть что-то похожее на это: /dir/ subdir1/ subdir1-1/ (some module) setup.py subdir1-2/ (another module) subdir2/ (another module) Код

2зной

2ответ

Переименуйте выходной файл после завершения патчи паутин

Я использую Scrapy и Scrapyd для мониторинга определенных сайтов. Выходные файлы сжаты jsonlines. Сразу после того, как я отправляю расписание заданий на scrapyd, я вижу, что выходной файл создается и