scrapy-spider

2зной

2ответ

Scrapy: сканирование 1 уровень глубины на внешних ссылках

В кадре, как бы я пошел, чтобы обследовать скальпером только 1 уровень глубины для всех ссылок за пределами разрешенных доменов. В рамках обхода я хочу, чтобы убедиться, что все исходящие ссылки внутр

0зной

1ответ

Scrapy: царапины полей полей с разных страниц

Я пытаюсь получить информацию о полях с разных страниц, используя scrapy. То, что я пытаюсь сделать: main_url> скрести все ссылки с этой страницы> перейти по каждой ссылке от каждой ссылки> скрести ин

0зной

1ответ

Scrapy with Django- Pass больше информации, что только URL

Я пытаюсь получить Scrapy для запуска пауков для большого количества URL-адресов, которые я сохранил в БД. «Пауки» все работают нормально. У меня возникли проблемы с тем, что Scrapy «помнит», с какими

5зной

1ответ

Разница между скребком, искателем и пауком в контексте Scrapy

Пытается прочитать код Scrapy. Слова scaper, crawler и spider сбивают с толку. Например scrapy.core.scraper scrapy.crawler scrapy.spiders Может кто-нибудь объяснить смысл и различия этих терминов

1зной

1ответ

Scrapy Spider не царапает Page 1

Я хочу, чтобы мой паук очистил списки на каждой странице веб-сайта. Я использовал CrawlSpider и LinkExtractor. Но когда я смотрел на файл csv, ничего не было на первой странице (т. Е. Запустите url).

2зной

1ответ

сканирование страниц с помощью scrapy

Im новичок в scrapy. Я хочу сканировать продукты на странице this. Мой код сканирует первую страницу, и это тоже около 15 продуктов, и она останавливается. И хотите просканировать следующую страницу.