scrapy-pipeline

0зной

1ответ

Не удается загрузить изображения с веб-сайта с помощью scrapy

Я начинаю с Scrapy, чтобы автоматизировать загрузку файлов с веб-сайтов. В качестве теста я хочу загрузить файлы jpg с сайта this. Мой код основан на the intro tutorial и Files and Images Pipeline tut

0зной

2ответ

404: Есть ли способ избежать блокировки веб-сайта при очистке с помощью scrapy

Я пытался использовать Scrapy для очистки некоторых веб-сайтов около 70 тысяч предметов. но каждый раз после того, как он Царапины около 200 пунктов, TheIs ошибка выскочит для отдыха: scrapy] DEBUG: I

1зной

1ответ

Проверьте, существует ли id в MongoDB с pymongo и scrapy.

Я создал паук с scrapy, который отправляет данные в базу данных MongoDB. Я хочу проверить, существует ли id, чтобы, если это возможно, я могу $ addToSet на конкретном ключе (иначе Mongo отклонит встав

0зной

1ответ

ошибка трубопровода с помощью mysql.connector

Я полностью потерян. вот мой трубопровод. Когда я запускаю его, им получает сообщение об ошибке, которое говорит File "c:\python27\lib\site-packages\twisted\internet\defer.py", line 588, in _runCallb

5зной

1ответ

При сохранении очищенного элемента и файла Scrapy вставляет пустые строки в выходной файл csv

У меня есть Scrapy (версия 1.0.3) spider, в котором я извлекаю и некоторые данные с веб-страницы, и я также загружаю файл, как этот (упрощенный): def extract_data(self, response): title = respons

0зной

1ответ

Трубопровод для предмета не JSON serializable

Я пытаюсь написать вывод скребкового xml в json. Скребок выходит из строя из-за того, что элемент не является сериализуемым. От этого вопроса его советовали, что вам нужно построить трубопровод, ответ