scrapy-spider

0зной

1ответ

Scrapy - как объединить данные из разных частей сайта

Я занимаюсь созданием сканера. Теперь я хочу, чтобы он перемещал все доступные страницы на сайте, а [i] заполнял несколько полей данных для каждого продукта, а [ii] - для каждого продукта, сверля в со

4зной

3ответ

Запуск более одного паука в цикле for

Я пытаюсь создать несколько пауков. Первый работает отлично, но второй дает мне ошибку: ReactorNotRestartable. feeds = { 'nasa': { 'name': 'nasa', 'url': 'https://www.nasa.gov/rss/dyn

0зной

1ответ

scrapy Настройка LOG_LEVEL в пауке не работает

Можно ли установить LOG_LEVEL в классе Spider? Когда я попытался установить его на INFO, я все еще вижу сообщения DEBUG. Когда я установил его в файле settings.py или через опцию командной строки --lo

1зной

1ответ

Scrapy после авторизации при подключении URL-адреса

Я не очень хорошо знаком с python, поэтому, пожалуйста, проявляйте терпение со мной. У меня есть scraw crawler, который работает так, как должен, но теперь мне нужно сделать новый, но на этот раз он д

1зной

1ответ

Python Scrapy login login spider issue

Люди, я пытался отказаться от нескольких данных с моих сайтов. Я использую python scrapy. Однако после прохождения документации все выглядит хорошо, когда я пытаюсь с этим HTML форму на моем сайте: <f

0зной

1ответ

CrawlSpider только crawls start_urls

Все, я пытаюсь создать паука, который будет сканировать веб-сайт шердога и дать мне профиль всех бойцов (имя, дата рождения, рост, национальность). Если я запустил паука, он разбирает start_urls в пор

0зной

1ответ

Не удается загрузить изображения с веб-сайта с помощью scrapy

Я начинаю с Scrapy, чтобы автоматизировать загрузку файлов с веб-сайтов. В качестве теста я хочу загрузить файлы jpg с сайта this. Мой код основан на the intro tutorial и Files and Images Pipeline tut