Я хочу автоматически сканировать данные с 1 до 10 страниц с сайта. Как я могу это сделать?

Question

import requests 
from bs4 import BeautifulSoup 
My_Url = "http://questions.consumercomplaints.in/page/2" 
Data = requests.get(My_Url) 
Soup = BeautifulSoup(Data.content) 
head_id = Soup.find_all({"div":"href"}) 
len(head_id) 
for i in head_id: 
    print i.text 

Из приведенного выше кода я слом (отзывы/жалобы) от веб-страницы 2. Как я зоб данные автоматически все страницы (http://questions.consumercomplaints.in/page/3)

Answer 1

Почему не окружать вашу функцию в варьировались для цикла?

import requests 
from bs4 import BeautifulSoup 
for i in range(3,11): 
    My_Url = "http://questions.consumercomplaints.in/page/" + str(i) 
    Data = requests.get(My_Url) 
    Soup = BeautifulSoup(Data.content) 
    head_id = Soup.find_all({"div":"href"}) 
    len(head_id) 
    for i in head_id: 
     print i.text 

Есть посмотрим, как функция работает диапазон here.