urllib.error.HTTPError: HTTP Error 403: Forbidden

Question

Я получаю сообщение об ошибке «urllib.error.HTTPError: HTTP Error 403: Forbidden» при очистке определенных страниц и понимаю, что добавление чего-то вроде hdr = {"User-Agent': 'Mozilla/5.0"} в заголовок является решением для это.

Однако я не могу заставить его работать, когда URL-адрес, который я пытаюсь очистить, находится в отдельном исходном файле. Как/где я могу добавить User-Agent в код ниже?

from bs4 import BeautifulSoup 
import urllib.request as urllib2 
import time 

list_open = open("source-urls.txt") 
read_list = list_open.read() 
line_in_list = read_list.split("\n") 

i = 0 
for url in line_in_list: 
    soup = BeautifulSoup(urllib2.urlopen(url).read(), 'html.parser') 
    name = soup.find(attrs={'class': "name"}) 
    description = soup.find(attrs={'class': "description"}) 
    for text in description: 
     print(name.get_text(), ';', description.get_text()) 
#  time.sleep(5) 
    i += 1 

Спасибо :)

Answer 1

Вы можете достичь, используя тот же requests

import requests 
hdrs = {'User-Agent': 'Mozilla/5.0 (X11 Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'}  
for url in line_in_list: 
    resp = requests.get(url, headers=hdrs) 
    soup = BeautifulSoup(resp.content, 'html.parser') 
    name = soup.find(attrs={'class': "name"}) 
    description = soup.find(attrs={'class': "description"}) 
    for text in description: 
     print(name.get_text(), ';', description.get_text()) 
#  time.sleep(5) 
    i += 1 

Надеется, что это помогает!