scrapyd

4зной

1ответ

Scrapyd: Как установить приоритет задачи scrapyd?

У меня есть несколько проектов по очистке. Я развертываю их все с помощью scrapyd. Некоторые из пауков медленны, а другие быстрые. Теперь я хочу сначала запустить быстрых пауков. Как сделать?

0зной

1ответ

Как вызвать пауков из разных проектов с разными конвейерами из сценария python?

У меня есть три разных паука в разных проектах по очистке, называемых REsale, REbuy и RErent, каждый со своим собственным конвейером, который направляет их вывод на различные таблицы MySQL на моем сер

0зной

1ответ

Как scrapyd определяет «последнюю» версию проекта?

Согласно документации, при развертывании проекта в scrapyd, я могу использовать Git совершить хэш, как версия, делая это: $ scrapyd-deploy default -p myproject --version GIT В документации также гов

1зной

1ответ

Как я могу автоматизировать мои пауки, используя scrapyd?

Я знаю, это, вероятно, кажется смешным. Я отказался от внедрения scrapyd в windows и создал машину ubuntu и получил все, что отлично работает. У меня 3 проекта каждый со своим собственным пауком. Я мо

0зной

1ответ

Получение экземпляра spider от scrapyd

Есть ли способ получить экземпляр паука, который запускается при планировании прогона с использованием scrapyd? Мне нужно получить доступ к атрибутам в пауке для обработки вне запуска и не может испол

17зной

4ответ

Scrapy get request url in parse

Как я могу получить URL запроса в функции анализа Scrapy? У меня много URL-адресов в start_urls, и некоторые из них перенаправляют мой паук на домашнюю страницу, и в результате у меня есть пустой элем

14зной

1ответ

обучения питона, а также пытается реализовать Scrapy ..getting этой ошибки

Я иду через Scrapy учебник http://doc.scrapy.org/en/latest/intro/tutorial.html , и я последовал за ним, пока я не выполнил эту команду scrapy crawl dmoz И это дало мне выход с ошибкой 2013-08-25 13:

1зной

1ответ

в `escape ': undefined method` gsub' для # <URI :: HTTP: 0x007fa07cb01e08> (NoMethodError)

Привет, я пытаюсь отказаться от веб-страницы «Возьмите ссылки», перейдите по этим ссылкам и «чтобы отменить это», слишком. require 'rubygems' require 'scrapi' require 'uri' Scraper::Base.parser :h