Скребок Python Невозможно очистить img src

Question

Я не могу очистить изображения с веб-сайта www.kissmanga.com. Я использую библиотеки Python3 и Requests и Beautifulsoup. Скребковые теги изображений дают пустой «src».

SRC:

from bs4 import BeautifulSoup 
import requests 

scraper = cfscrape.create_scraper() 

url = "http://kissmanga.com/Manga/Bleach/Bleach-634--Friend-004?id=235206" 

response = requests.get(url) 

soup2 = BeautifulSoup(response.text, 'html.parser') 

divImage = soup2.find('div',{"id": "divImage"}) 

for img in divImage.findAll('img'): 
    print(img) 

response.close() 

Я думаю, что соскоб изображения предотвращен, потому что я считаю, что сайт использует CloudFlare. По этому предположению я также попытался использовать библиотеку cfscrape для очистки содержимого.

Answer 1

Вам нужно подождать JavaScript, чтобы ввести код изображения html.

несколько инструментов, которые способны сделать это, вот некоторые из них:

• Ghost
• PhantomJS (Ghost Driver)
• Selenium

Я был в состоянии заставить его работать с Селен:

from bs4 import BeautifulSoup 

from selenium import webdriver 
from selenium.common.exceptions import TimeoutException 

driver = webdriver.Firefox() 
# it takes forever to load the page, therefore we are setting a threshold 
driver.set_page_load_timeout(5) 

try: 
    driver.get("http://kissmanga.com/Manga/Bleach/Bleach-634--Friend-004?id=235206") 
except TimeoutException: 
    # never ignore exceptions silently in real world code 
    pass 

soup2 = BeautifulSoup(driver.page_source, 'html.parser') 
divImage = soup2.find('div', {"id": "divImage"}) 

# close the browser 
driver.close() 

for img in divImage.findAll('img'): 
    print img.get('src') 

Обратитесь к How to download image using requests, если вы также хотите загрузить эти изображения.

Answer 2

Вы пробовали установить custom user-agent? Обычно считается неэтичным делать это, но так же очищает мангу.