scrapy

11зной

2ответ

Как создать веб-искатель на основе Scrapy для запуска навсегда?

Я хочу создать веб-искатель на основе Scrapy для захвата новостей с нескольких сайтов новостного портала. Я хочу этого гусеничном быть: Run навсегда Значит будет периодическим повторно посетить некото

1зной

2ответ

Как написать простой паук в Python?

Я пытался написать этот паук неделями, но безуспешно. Что это лучший способ для меня, чтобы закодировать это в Python: 1) Начальный URL: http://www.whitecase.com/Attorneys/List.aspx?LastName=A 2) из

5зной

1ответ

Scrapy BaseSpider: Как это работает?

Это пример BaseSpider из учебника Scrapy: from scrapy.spider import BaseSpider from scrapy.selector import HtmlXPathSelector from dmoz.items import DmozItem class DmozSpider(BaseSpider): dom

12зной

4ответ

Использование одного спайдера для нескольких сайтов

Мне нужно создать настраиваемый веб-паук/искатель, и я думаю об использовании Scrapy. Но я не могу жестко закодировать домены и разрешать URL-адрес regex: es - это вместо этого будет настраиваться в г

24зной

2ответ

Как использовать CrawlSpider из scrapy, чтобы щелкнуть ссылку с javascript onclick?

Я хочу SCRAPY сканировать страницы, где переходить к следующей ссылке выглядит следующим образом: <a href="#" onclick="return gotoPage('2');"> Next </a> Будет Scrapy иметь возможность интерпретирова