Как я могу получить доступ к описанию компании из crunchbase с помощью python?

Question

Я попытался использовать beautifulSoup, но не удалось.

import urllib2 
import tldextract 
from BeautifulSoup import BeautifulSoup 
opener = urllib2.build_opener() 
opener.addheaders = [('User-agent', 'Mozilla/5.0')] 
u2 = urllib2.urlopen("https://www.crunchbase.com/organization/facebook#/entity") 
soup = BeautifulSoup(u2) 
access_response_2 = soup.find('dl',class = "definition-list-container") 

Answer 1

Я не думаю, что вы можете подключить & разобрать сайт cruchabse с urllib2. В прошлый раз, когда я пытался, они бросали 416 Ошибка HTTP. Затем я попробовал установить useragent, правильные заголовки HTTP и значения cookie с запросом urllib2, но также не удалось.

Вместо этого используйте selenium. С этим вы сможете подключиться к странице Cruchbase &. После подключения к целевой странице, разобрать его с анализатором, который поставляется с селеном или вы можете использовать BeautifulSoup, а

Пример кода:

from selenium import webdriver 
driver= webdriver.Firefox() 
driver.get('https://www.crunchbase.com/organization/facebook#/entity') 

синтаксического анализа с селеном

driver.find_element_by_class_name('definition-list-container') 

или синтаксического анализа с BeautifulSoup

soup = BeautifulSoup(driver.page_source, "html.parser") 
soup.find('dl',{ 'class' : "definition-list-container"})