scrapy-pipeline

0зной

1ответ

Как остановить многопоточность или как подать запрос один за другим в Scrapy?

Я попытался просканировать данные продукта в формате. 1) ДОБАВИТЬ CART 2) КОРЗИНА 3) REMOVE CART Для одного цвета продукта она работает отлично, но для многоцветной продукции, Scrapy принимает многопо

python-2.7 scrapy scrapy-spider scrapy-pipeline scrapy-shell 2017-02-02

---

-1зной

2ответ

Отбрасывание «#» ссылок из Scrapy crawl

Я running this spider на сайте. Он работает нормально, но одна проблема, с которой я сталкиваюсь, заключается в том, что существует ряд hrefs с «#» в качестве ссылки. Как я могу вообще пропустить или

python scrapy scrapy-spider scrapy-pipeline 2017-02-20

---

0зной

1ответ

Scrapy Получить обратно Значение из конвейера

Я пытаюсь получить возвращаемое значение из конвейера. Я использую генератор генерации для создания элемента. И это мой код. def get_or_create(model): model_class = type(model) created = Fal

python django scrapy scrapy-spider scrapy-pipeline 2017-01-06

---

0зной

2ответ

Сканировать веб-сайт из списка значений с помощью scrapy

У меня есть список NPI, которые я хочу очистить имена поставщиков от npidb.org Значения NPI хранятся в CSV-файле. Я могу сделать это вручную, вставив URL-адреса в код. Однако я не могу понять, как это

python scrapy scrapy-spider scrapy-pipeline 2017-01-18

---

0зной

2ответ

Retreive http return code from ImagesPipeline (или MediaPipeline) в scrapy

У меня есть рабочий паук, очищающий URL-адреса изображений и размещение их в поле image_urls scrapy.Item. У меня есть собственный конвейер, который наследуется от ImagesPipeline. Когда определенный UR

python scrapy scrapy-spider scrapy-pipeline scrapy-shell 2017-01-19

---

0зной

1ответ

Используйте модели Django в проекте Scrapy (в конвейере)

Это было задано раньше, но ответ, который всегда возникает, заключается в использовании DjangoItem. Однако он утверждает, на это GitHub, что: часто не является хорошим выбором для записи ресурсоемких

python django django-models scrapy scrapy-pipeline 2017-01-28

---

0зной

1ответ

Scrapy Connect Различные предметы для урожая

Я ломаю новостной сайт. Для каждой новости есть контент и много комментариев. У меня есть 2 пункта, один для контента и другой для нескольких комментариев. Проблема заключается в содержании и нескольк

scrapy scrapy-pipeline 2017-01-28

---

0зной

1ответ

Scrapy Regex Пользовательские Pipeline

Это мой Scrapy код пользовательских регулярных выражений трубопровода: for p in item['code']: for search_type, pattern in RegEx.regexp.iteritems(): s = re.findall(pattern, p) if s

python scrapy scrapy-pipeline 2017-01-30

---

0зной

1ответ

Терапия, не вызванная назначенным конвейером

У меня есть кусок кода для тестирования. Моя цель - использовать scrapy без необходимости вызывать команду scrapy с терминала, поэтому я могу вставить этот код в другое место. Код следующее: from scra

python-3.x ubuntu scrapy scrapy-pipeline 2017-02-21

---