Как остановить многопоточность или как подать запрос один за другим в Scrapy?

Я попытался просканировать данные продукта в формате. 1) ДОБАВИТЬ CART 2) КОРЗИНА 3) REMOVE CARTКак остановить многопоточность или как подать запрос один за другим в Scrapy?

Для одного цвета продукта она работает отлично, но для многоцветной продукции, Scrapy принимает многопоточность так выше процесс не для того, чтобы каждый продукт.

Я хочу SCRAPY просить как:

1) продукт A - ADD КОРЗИНА продукт A - МОЯ КОРЗИНА продукт А - REMOVE ТЕЛЕГУ

2) продукт В - Добавить корзину продукт B - КОРЗИНА продукта Б - УДАЛИТЬ ТЕЛЕГУ

3) продукта С - Добавить корзину продукта C - Просмотр корзине продукта C - УДАЛИТЬ КАРТУ

Я использовал (приоритет в то время как обратный вызов) также, но не повезло. Помощь будет оценена. Заранее спасибо.

источник

2017-02-02 Vimal Annamalai

Покажите нам ваш код – Umair

Вы можете установить CONCURRENT_REQUESTS на 1.

Как описано в documentation:

CONCURRENT_REQUESTS
По умолчанию: 16
Максимальное количество одновременных (т.е. одновременно.) Запросов, которые будут выполняться с помощью загрузчика Scrapy.

источник

2017-02-02 13:36:09 Granitosaurus

http://stackoverflow.com/questions/42020851/how-stop-multithreading-or-how-to-give-request-one-by-one-in-scrapy –

HTTP: //stackoverflow.com/questions/42020851/how-stop-multithreading-or-how-to-give-request-one-by-one-in-scrapy. Мой код будет выше пути –

Я пробовал CONCURRENT_REQUESTS в custom_settings, но он работает только для родительского цвета URL-адреса продукта, а не для дочернего цвета URL-адреса продукта. –

Как остановить многопоточность или как подать запрос один за другим в Scrapy?

ответ

Смежные вопросы