scrapy-spider

1зной

1ответ

Я читаю некоторые курсы/уроки с помощью scrapy, однако, похоже, он возвращает только последний элемент. Вот код в вопросе: def parse_course_list(self, response): """ Scrape list of lessons for ea

0зной

1ответ

scrapy InitSpider: установить правила в __init__?

Я строю рекурсивный webspider с дополнительным логином. Я хочу сделать большинство настроек динамическими с помощью json-файла конфигурации. В моей функции __init__, я читаю этот файл и пытаюсь заполн

0зной

1ответ

Scrapy - Скремблирование данных только с первой страницы, а не с страницы «Далее» в разбивке на страницы

Ниже код scrapy (взято из одного сообщения в блоге) работает нормально, чтобы отменить данные только на первой странице. Я добавил «Правило» для извлечения данных со второй страницы, но все же он бере

4зной

1ответ

Как добавить dont_filter = True аргумент в scrapy.Request заставить мой метод разбора работать?

Вот простой SCRAPY паук import scrapy class ExampleSpider(scrapy.Spider): name = "dmoz" allowed_domains = ["https://www.dmoz.org"] start_urls = ('https://www.dmoz.org/') def par

1зной

1ответ

Что именно означает DEPTH_LIMIT? Является ли текущая глубина ссылочной?

Scrapy указывает, что у него есть DEPTH_LIMIT setting, но конкретно не говорит, что он считает «глубиной». С точки зрения очищающих страниц я видел, что «глубина» относится к «глубине url», или http:/

-1зной

1ответ

Почему некоторые из значений полей предметов повторяются в этом Spider Spider?

Когда мой паук работает на URL, как this: def parse_subandtaxonomy(self, response): item = response.meta['item'] for sub in response.xpath('//div[@class = "page-content"]/section'): item['Subca

0зной

2ответ

паук не идет к следующей странице

кода Паук: import scrapy from crawler.items import Item class DmozSpider(scrapy.Spider): name = 'blabla' allowed_domains = ['blabla'] def start_requests(self): yield scrapy.Re