scrapy

0зной

2ответ

SCRAPY питона найти HREF ссылки рекурсивно

Я пытаюсь сделать Scrapy, что найти и распечатать все HREF от стартовой страницы: class Ejercicio2(scrapy.Spider): name = "Ejercicio2" Ejercicio2 = {} category = None lista_urls =[

python scrapy href 2017-01-26

---

0зной

1ответ

Как передать аргументы (для FEED_URI) в Scirus spane's instane для динамического именования выходного файла

Я хочу отправить аргументы в spider и получить выходные данные (json, csv), названные соответственно аргументам. F.E., $ SCRAPY ползать spider_name -a категория = category1 -a подкатегорию = subcatego

python scrapy 2017-01-26

---

0зной

1ответ

Пункт Loader не работает с response.meta

Я хочу загрузить два элемента в загрузчик товаров, который создается через команду response.meta. Каким-то образом, стандарт: loader.add_xpath('item', 'xpath') Не работает (т.е. нет значения сохраня

python scrapy scrapy-spider 2017-01-26

---

0зной

2ответ

Как этот сайт знает, что я скребок?

Я пытаюсь скопировать результаты из this web form (образец ID: 15740175). На самом деле я отправляю POST-запрос от Scrapy, так же, как и в форме. Я работаю с незаблокированным IP-адресом - я могу успе

web-scraping scrapy 2017-01-27

---

0зной

1ответ

Невозможно переопределить настройки в Scrapy после функции init spider

Возможно ли переопределить настройки Scrapy после функции init паука? Например, если я хочу получить настройки из db, и я передаю свои параметры запроса в качестве аргументов из cmdline. def __init__(

python web-scraping scrapy web-crawler scrapy-spider 2017-01-27

---

2зной

1ответ

Ошибки SQL-сервера, pyobbc и тупика

У меня есть код, который записывает Scrap скребущие данные на SQL-сервер db. Элементы данных состоят из некоторых основных данных о гостинице (имя, адрес, рейтинг ..) и некоторый список номеров со свя

sql-server parallel-processing scrapy celery pyodbc 2017-01-27

---

0зной

1ответ

Используйте модели Django в проекте Scrapy (в конвейере)

Это было задано раньше, но ответ, который всегда возникает, заключается в использовании DjangoItem. Однако он утверждает, на это GitHub, что: часто не является хорошим выбором для записи ресурсоемких

python django django-models scrapy scrapy-pipeline 2017-01-28

---

0зной

1ответ

Scrapy Connect Различные предметы для урожая

Я ломаю новостной сайт. Для каждой новости есть контент и много комментариев. У меня есть 2 пункта, один для контента и другой для нескольких комментариев. Проблема заключается в содержании и нескольк

scrapy scrapy-pipeline 2017-01-28

---