scrapy-spider

0зной

1ответ

Я пытаюсь создать сканер с помощью Scrapy. Когда я делаю свой первый GET на сервере, он отвечает приведенным ниже кодом. Я новичок в Java Script, но я думаю, что он делает POST, из-за form method="POS

1зной

1ответ

exceptions.TypeError: __init __() принимает ровно 1 аргумент (3 данный)

Я создаю настраиваемый фильтр, наследуя RFPDupeFilter. Вот ссылка, с которой я использую код: https://github.com/j4s0nh4ck/wiki-spider/blob/master/wiki/wiki/SeenURLFilter.py Примечание: У меня выше ко

0зной

1ответ

Scrapy и Google scarping

Я пытаюсь использовать scrapy для сбора результатов поиска google и поместить их в MongoDB. Тем не менее, я не получаю никакого ответа ... что мне не хватает? Кажется очень простым. # -*- coding: utf-

4зной

1ответ

Как использовать Downloader Middleware в Scrapy

Я использую scrapy для очистки некоторых веб-страниц. Я написал свой собственный класс ProxyMiddleware, в котором я выполнил свое требование в process_request (self, request, spider). Вот мой код (коп

1зной

1ответ

Scrapy URL запроса происходит неправильно

Я использую Scrapy сканирование сайта Моя проблема, когда я достаю url из href я получаю в URL %20. Таким образом, чтобы удалить, что я использовал раскол и получил нужный URL Для примера: Оригинальны

1зной

1ответ

CrawlSpider не следующие ссылки

Заголовок говорит все, я пытаюсь сделать работу CrawlSpider для некоторых продуктов в Amazon безрезультатно. Here - это исходная URL-страница, с которой я хочу получить продукцию. Глядя на HTML код гд

1зной

1ответ

Застрял со следами следов imgur от субредатов

Я очищаю reddit, чтобы получить ссылку на каждую запись в subreddit. И я хотел бы следить за ссылками, которые соответствуют http://imgur.com/gallery/\w* тоже. Но у меня возникли проблемы для запуска