scrapy-shell

0зной

1ответ

Я пытаюсь извлечь некоторые данные из http://www.bcpa.com с помощью scrapy. У меня есть некоторые адреса, и я хочу извлечь из веб-сайта информацию, связанную с каждым из адресов, поэтому мне нужно «ис

-1зной

1ответ

Scrapy не может идентифицировать элементы «tbody» и «ul», перечисленные Firebug

Я пытаюсь извлечь каждый заголовок этого mailing list, регистрируя, сколько ответов отвечает каждый поток. В соответствии с Firebug, в Xpath к <ul>, который содержит все заголовки является: /HTML/тело

3зной

2ответ

Как отключить robots.txt при запуске scrapy shell?

Я использую Scrapy shell без проблем с несколькими сайтами, но я нахожу проблемы, когда роботы (robots.txt) не разрешают доступ к сайту. Как отключить обнаружение роботов Scrapy (игнорируется существо

0зной

2ответ

Retreive http return code from ImagesPipeline (или MediaPipeline) в scrapy

У меня есть рабочий паук, очищающий URL-адреса изображений и размещение их в поле image_urls scrapy.Item. У меня есть собственный конвейер, который наследуется от ImagesPipeline. Когда определенный UR

0зной

1ответ

Как остановить многопоточность или как подать запрос один за другим в Scrapy?

Я попытался просканировать данные продукта в формате. 1) ДОБАВИТЬ CART 2) КОРЗИНА 3) REMOVE CART Для одного цвета продукта она работает отлично, но для многоцветной продукции, Scrapy принимает многопо