scrapy

1зной

1ответ

Использование Scrapy для очистки данных

Я пытаюсь очистить данные с помощью scrapy. Но возникли проблемы с редактированием кода. Вот что я сделал в качестве эксперимента: import scrapy class BlogSpider(scrapy.Spider): name = 'blogspi

python web-scraping scrapy pip 2017-01-30

---

0зной

1ответ

Scrapy Regex Пользовательские Pipeline

Это мой Scrapy код пользовательских регулярных выражений трубопровода: for p in item['code']: for search_type, pattern in RegEx.regexp.iteritems(): s = re.findall(pattern, p) if s

python scrapy scrapy-pipeline 2017-01-30

---

4зной

1ответ

Как разрешить один и тот же запрос в n раз больше?

Когда я прошу сервер иногда отвечает на веб-страницу, которая не один, который, как ожидается, даже если статус ответ 200.I знаю, что могу использовать this method просить тот же URL-адрес несколько р

python scrapy 2017-01-30

---

1зной

1ответ

Scrapy продолжает соскабливать стартовую страницу, несмотря на другой запрос на получение запроса

Я строю скребок, чтобы очистить различные ссылки, используя scrapy. Scrapy продолжает очищать ссылки от начальной страницы. Хотя запросы GET имеют разные URL-адреса, response.url всегда совпадает с те

web-scraping scrapy scrapy-spider 2017-01-30

---

0зной

1ответ

Как предотвратить сбой моей программы Selenium/Python?

Я сделал программу, которая набирает одну запись из процесса Google Sheet, затем удаляет ее и т. Д. Если я обновлю Google Sheet, то программа будет вычитать запись в следующем цикле и процесс на нем,

python selenium web-scraping automation scrapy 2017-01-31

---

1зной

1ответ

Получить значение входного сигнала в Scrapy

У меня есть рейтинг с звездой в моей веб-странице, работать с входным сигналом ([см этой страницы] [1]) Теперь я хочу, чтобы ползать значение входа с Scrapy гусеничным, пожалуйста Помоги мне.

input scrapy web-crawler value scrapy-spider 2017-01-31

---

0зной

2ответ

Запрос на игнорирование Scrapy для определенного домена

Я пытаюсь просканировать категорию форума craiglist.org (https://forums.craigslist.org/). Мой паук: class CraigslistSpider(scrapy.Spider): name = "craigslist" allowed_domains = ["forums.crai

python python-2.7 request scrapy 2017-01-31

---

0зной

1ответ

Scrapy Extract Значения тегов

Я обрабатываю запрос json, который имеет div как значение. Теперь я хочу, чтобы получить только значение данных-контент стоимости <li id="term_100800962" data-content-value='{"nl_term_id":100800962,"c

json web-scraping scrapy 2017-01-31

---