scrapy

0зной

1ответ

Назначьте несколько переменных с помощью объектов Scrapy сразу

Безопасно ли в Scrapy spider сделать это? item1 = item2 = MyItem Если я изменяю item1['myfield'], будет item2 получает изменилось, а?

python variables scrapy variable-assignment assign 2017-02-10

---

0зной

1ответ

Scrapy возвращает только первый результат

Я пытаюсь скрести данные gelbeseiten.de (желтые страницы в германии) # -*- coding: utf-8 -*- import scrapy from scrapy.spiders import CrawlSpider from scrapy.http import Request from s

python scrapy 2017-02-10

---

0зной

2ответ

Почему я не могу получить данные с этого URL-адреса?

Есть некоторые данные на этой странице: $ SCRAPY оболочка «https://partsouq.com/en/catalog/genuine/unit?c=Toyota&ssd=%24HQwdcgcAAwFNa3YjVR92aVB7C10ZDko%24&vid=4463&cid=&uid=2535&q=» и есть номера на л

xpath web-scraping scrapy scrapy-spider 2017-02-11

---

0зной

1ответ

Scrapy рядом HREF с отн = «следующий»

на примере Scrapy я нашел эту линию next_page = response.css('div.prev-post > a ::attr(href)').extract_first() Теперь я wan't выбрать первый Так я извлечет первую ссылку, где на нем есть «rel =» next

scrapy 2017-02-11

---

-1зной

2ответ

Scrapy игнорировать settings.py

SCRAPY игнорировать мой settins.py мой scraper.py import scrapy class BlogSpider(scrapy.Spider): name = 'blogspider' start_urls = ['https://www.doctolib.de/directory/a']

scrapy 2017-02-11

---

-2зной

2ответ

Использование Xpath Содержит ID?

<div id="content-body-14269002-17290547"> <p>...</p> <p>...</p> <p>...</p> <p>...</p> <p>...</p> </div> мне нужно выбрать Все в id = "content-body*" изменения содержимого тела на каждой страни

dom xpath scrapy 2017-02-12

---