scrapy

-1зной

2ответ

Я running this spider на сайте. Он работает нормально, но одна проблема, с которой я сталкиваюсь, заключается в том, что существует ряд hrefs с «#» в качестве ссылки. Как я могу вообще пропустить или

0зной

1ответ

Терапия, не вызванная назначенным конвейером

У меня есть кусок кода для тестирования. Моя цель - использовать scrapy без необходимости вызывать команду scrapy с терминала, поэтому я могу вставить этот код в другое место. Код следующее: from scra

0зной

2ответ

Ошибка сбрасывания Scrapy ReactorNotRestartable при запуске на AWS Lambda

Я развернул проект scrapy, который сканирует всякий раз, когда приходит запрос лямбда-апи. Он отлично работает для первого вызова api, но позже он терпит неудачу и выдает ошибку ReactorNotRestartable.

0зной

1ответ

Звонок с PHP/Delphi со списком ссылок

Я создаю scrapy spider, который проверяет наличие запаса некоторых продуктов в интернет-магазине. Идея состоит в том, чтобы вызвать этого паука из кода PHP/Delphi, передав список продуктов (3500 ссыло

0зной

1ответ

Nonblocking PostgreSQL ORM

У меня есть скребок с использованием Scrapy, который построен на Twisted с использованием отложенных. Для каждой страницы scraped я хочу вставить в несколько разных таблиц в базе данных PostgreSQL. Я

1зной

3ответ

Пропустить очищенные URL от одного паука до другого

Как я могу отправить очищенные URL от одного паука до start_urls другого паука? В частности, я хочу запустить один паук, который получает список URL-адресов с XML-страницы. После того, как URL-адрес б

0зной

1ответ

Set Geolocation для браузера Splash (Scrapy/Python)

Я пытаюсь установить геолокацию браузера, чтобы при переходе на сайт он распознал мое местоположение, так как страница не будет загружаться, если у меня не установлен набор геолокации , Кто-нибудь зна