scrapy-spider

3зной

1ответ

Использования Xpath в Scrapy, чтобы выбрать любой текст ниже пункта

Ну мой исходный код работает, но пропускает некоторые странные форматирование на сайте: response.xpath("//*[contains(., 'Description:')]/following-sibling::p/text()").extract() <div id="body">

0зной

1ответ

Паук не запускается после обновления Scrapy

Как кажется, это часто происходит здесь, я довольно новичок в Python 2.7 и Scrapy. В нашем проекте мы соскабливаем дату веб-сайта, следуя некоторым ссылкам и более соскабливаниям и так далее. Все это

0зной

3ответ

Как сделать Scrapy spider для отказа в доменах домена

Я пытаюсь сделать мой scrapy spider отрицающим .com домены. Какая правильная строка передается deny_domains? Я пробовал «* .com», но он не работает. Вопрос ОБНОВЛЕНИЕ: Как я могу сделать наоборот? Нап

4зной

1ответ

Сколько предметов было очищено на start_url

Я использую scrapy для сканирования 1000 URL-адресов и хранения скребкового предмета в mongodb. Я бы знал, сколько элементов найдено для каждого URL-адреса. Из статистики scrapy я могу видеть 'item_sc

0зной

1ответ

Сканирование сгенерированного содержимого и извлечение ссылок

Существует много страниц Q/A в переполнении стека, где вывод, похоже, является веб-страницами с javascript, невозможно использовать паука для сканирования и извлечения. Или, по крайней мере, это дейст

13зной

2ответ

Scrapy: AttributeError: объект 'list' не имеет атрибута 'iteritems'

Это мой первый вопрос о переполнении стека. Недавно я хочу использовать linked-in-scraper, поэтому я загрузил и инструктировал «scrapy crawl linkedin.com» и получил следующее сообщение об ошибке. Для

0зной

1ответ

Установки ITEM_PIPELINE не может быть отменена из терминала

В моем settings.py у меня есть: ITEM_PIPELINES = { 'turing.pipelines.InitFieldsNotInitializedPipeline': 299, 'turing.pipelines.SetNoneIfFieldEmptyPipeline': 300, 'turing.pipelines.Check