scrapy-spider

0зной

2ответ

scrapy с несколькими учетными записями или relogin с другой учетной записью (другой файл cookie)

Я просканировал веб-сайт, строгое количество страниц для скачивания в день, около (1000 страниц), после этого пользователь не смог войти в систему до тех пор, пока не будет найдено: 0: 00. Таким образ

0зной

1ответ

Переопределение start_requests - Scrapy не синхронно

Я пытаюсь переопределить метод Scicing start_requests, но безуспешно. Я уже успел перебирать страницы. Проблема в том, что теперь я должен итерации сначала через города, а не страницы. Мой код выгляди

0зной

1ответ

Выполнение скрипирования без создания проекта для скрининга

Я создал проект по скрипированию на питоне. Так что я создал два сценария: dmoz_spider.py и items.py: $ cat dmoz_spider.py import scrapy class DmozSpider(scrapy.Spider): name = "dmoz" all

1зной

1ответ

Python Scrapy получение ошибки JSONDecodeError: значения должны быть разделены запятой при декодировании строки json

Я пытаюсь декодировать строку json с использованием библиотеки demjson, и я получаю сообщение об ошибке - «JSONDecodeError: значения должны быть разделены запятой ». Я отказываюсь от веб-сайта с испол

1зной

1ответ

Scrapy следовать яваскрипт кнопке ввода

Я следующий вход на странице: <input name="ct99" value="" id="ct99" class="GetData" type="submit"> <input name="ct92" value="" id="ct92" class="GetData" type="submit"> <input name="ct87" value="" id