scrapy

0зной

1ответ

pkg_resources.DistributionNotFound: Scrapy == 1.3.0

Я использую scrapy на моем экземпляре AWS-EC2. Но это бросает следующую ошибку. $ scrapy Traceback (most recent call last): File "/usr/local/bin/scrapy", line 5, in <module> from pkg_resour

0зной

1ответ

Извлечения данных из страничных вложенных ссылок

У меня есть постраничный список IMDb названий около 17 страниц: the list Ссылки имеет URL-адрес в виде http://www.imdb.com/title/tt0111161/?ref_=adv_li_tt Где tt0111161 является название ID. Я хотел б

0зной

1ответ

Ошибка скрипирования на скребке

Вот что я пытаюсь сделать. Я хочу очистить электронные письма с нескольких веб-сайтов. У меня есть файл, в котором я могу ввести scrapy весь список url. Это, как я попытался извлечь электронную почту:

0зной

1ответ

Обновить параметры скрипирования на основе свойства паука

Есть ли способ с scrapy динамически установить настройки для паука, данные во время выполнения? Я хочу добавить isDebug переменные мой паук и в зависимости от того, что этого значения я хочу, чтобы на

1зной

1ответ

Ввод файла для вопросов, связанных с очисткой

Я пытаюсь ввести файл в scrapy для обработки. Но я не знаю, почему у меня возникает проблема с вводом в формат файла. Вот то, что я пробовал: with open("url.txt","r") as f: DOMAIN = [u.strip() f