Как очистить все данные с этого сайта, используя Python

Question

Я совершенно новый для веб-соскабливания. Я хочу очистить данные от here, в основном данные справа, в которых есть год, страна и ВВП стран.

Мой код, как показано ниже:

from urllib.request import urlopen 
from bs4 import BeautifulSoup 
data = "http://databank.worldbank.org/data/reports.aspx?source=2&series=NY.GDP.MKTP.CD&country=#" 
page = urlopen(data) 

soup = BeautifulSoup(page,'html.parser') 
name_box = soup.find('div',attrs = {'class':'canvas'}) 
name = name_box.text.strip() 

print(name) 

я могу получить данные, однако, это только те, в верхней 10+.

Таким образом, мой вопрос будет заключаться в том, как это сделать для таких проблем, когда данные не находятся на самой странице (т. Е. Они были импортированы из других источников). Благодарим вас за любой ввод.

Answer 1

Чаще всего, когда javascript загружает больше данных, он вызывает вызов конечной точке.

Когда вы звоните urlopen(data), вы звоните в конечную точку. Аналогичные вызовы выполняются в новых версиях python с использованием requests.get(data) или requests.post(data). Документация для urlopen имеет обширные примеры и использует. Если вы посмотрите на запрос, который делает javascript, он имеет много частей (заголовки, параметры, метод и т. Д.). Вы можете добавить эти части в свой запрос в urlopen, чтобы скопировать (имитировать) вызов, который делает javascript.

Если вы можете подражать этому звонку, тогда вы будете загружать данные из последующего вызова в свой суп. Затем вы можете проанализировать данные.

Если вы не можете имитировать этот звонок, то лучше всего использовать какой-нибудь браузер без браузера. Несколько наиболее используемых - Dryscrape и Selenium. Я лично предпочитаю Dryscrape.

Глядя на комментарии по вашему вопросу, я вижу, вы уже используете селен. Подобно свитке, когда этот прокрутка выполняется, она обычно делает последующие вызовы, о которых я упоминал ранее. Если вы можете имитировать их полностью (заголовки, параметры, qwargs и т. Д.), Вы можете заставить свой браузер загружать данные.

Answer 2

Когда я перехожу к ссылке, есть меню, посвященное «Параметры загрузки». Почему бы просто не использовать это?