scrapy-spider

1зной

1ответ

Правила Scraw CrawlSpider и LinkExtractor, не применяемые для разбивки на страницы

Невозможно понять, почему CrawlSpider в режиме scrap не выполняет разбиение на страницы, несмотря на правила настройки. Однако, если изменить start_url на http://bitcoin.travel/listing-category/bitcoi

0зной

1ответ

Scrapy не возвращает результат - просто [

Я пытаюсь запустить паук, найденный в этом crawler, и для простоты я использую этот start_url, потому что это всего лишь список из 320 фильмов. (Таким образом, сканер не будет работать в течение 5 час

0зной

1ответ

Как заставить Scrap's SitemapSpider выполнять сканирование на глубину более 1?

Я пытаюсь использовать Scrapy для записи каждой ссылки, которая встречается внутри сайта. Я использую SitemapSpider, но просмотр результирующего CSV показывает, что Spider никогда не достигает глубины

1зной

2ответ

Scrapy - скребковая страница и очищающая следующие страницы

Я пытаюсь скрести RateMyProfessors по статистике профессора, определенный в моем items.py файл: # -*- coding: utf-8 -*- # Define here the models for your scraped items # # See documentation in: #

0зной

1ответ

Scrapy send variable вместе с URL-адресом для spider

Я использую https://github.com/rolando/scrapy-redis, чтобы создать паук, который читает URL-адреса из списка Redis. Проблема заключается в том, что я хочу отправить уникальный идентификатор по каждой