scrapy-spider

3зной

3ответ

Запуск Несколько пауков в scrapy для 1 веб-сайта параллельно?

Я хочу просканировать сайт с 2 частями, и мой сценарий не так быстр, как мне нужно. Можно ли использовать 2 паука, один для соскабливания первой части и второй для второй части? я пытался иметь 2 diff

0зной

1ответ

Scrapy: TypeError: объект «Запрос» не итерируется

Я делаю паука с помощью Scrapy (1.1.2) для утилизации продуктов. Мне удалось заставить его работать и очистить достаточно данных, но теперь я хочу, чтобы каждый элемент делал новый запрос к product pa

0зной

1ответ

Scrapy - использовать прокси-сервер, но отключить прокси-сервер для определенных запросов.

Я хочу использовать прокси-промежуточное программное обеспечение в своей Scrapy, но не для каждого запроса нужен прокси-сервер. Я не хочу злоупотреблять использованием прокси и запрещать прокси-сервер

1зной

1ответ

Scrapy не сканирует все данные со страницы

У меня есть Паук, но он не работает. Мой паук очищал информацию только от некоторых ссылок. Here scraping all data, но Here nothing. Я пробовал сломать другим способом, но результат все тот же. Где мо

1зной

1ответ

Python Scrapy динамический элемент с группировкой по Xpath

Моя страница ниже <div style="width:100%;" id="innerTSpec"> <table width="100%" cellpadding="0" cellspacing="0" class="PrintIE7in80PercentWidth PrintIE6in80PercentWidth"> <tr><td ></t

0зной

2ответ

Извлечение данных по страницам один за другим с помощью одного Scrapy паука

Я пытаюсь извлечь данные из goodreads. Я хочу, чтобы сканировать страницы по одной, используя некоторую задержку по времени. Мой паук выглядит следующим образом: import scrapy import unidecode from