scrapy-spider

17зной

3ответ

У меня проблема. Мне нужно некоторое время прекратить выполнение функции, но не останавливать реализацию синтаксического анализа в целом. То есть мне нужна неблокирующая пауза. Это выглядит следующим

0зной

1ответ

Как получить доступ к трубопроводной пула базы данных в Scrapy паук

Во-первых, вот что я пытаюсь сделать: У меня есть XMLFeedSpider, который проходит через список продуктов (в узлах) в файле XML и создает элементы которые сохраняются в моей базе данных в конвейере. В

0зной

1ответ

запрос об обходах в порядке FIFO с помощью scrapy

Я хочу, чтобы scrapy обрабатывал обход в порядке FIFO, например, у меня есть цикл в этом цикле каждый элемент процесса 3 узла DEPTH, второй элемент начинается после завершения первого с 3 вызовами DEP

-1зной

2ответ

Scrapy Ruel LinkExtractor Следующего страница

Я строй паука, который проходит через несколько нумерованных страниц и извлекают данные из сайта: http://www.usnews.com/education/best-global-universities/neuroscience-behavior Это паук: # -*- coding:

1зной

1ответ

Python web spider: как решить капчу?

captcha генерируется случайным образом. Я получаю ссылку captcha и загружаю ее. После этого я просматриваю сайт, используя этот заголовок и заголовки, которые также установлены правильно. Однако, ошиб

0зной

1ответ

Любой способ получить ответный url от функции process_links с помощью Scrapy?

Я пытаюсь получить доступ к ответу (url как условие) из функции process_links, поэтому я могу переписать URL-адрес. Есть какой-либо способ сделать это? В настоящее время я получаю ошибку: process_link

1зной

1ответ

как обрабатывать несколько возвращаемых значений в Scrapy от всплеска

я использую Scrapy с всплеском, на мой всплеск я могу отправить несколько значений, но в моем Scrapy коде я не мог справиться с all.for пример, это мой всплеск сценарий splash_script = """ functi