Как прокрутить указанный бесконечный элемент прокрутки в Selenium с помощью Python

Question

Я новичок в Selenium и не знаком с JavaScript. Я хочу получить новостные ссылки от Топ-новости в this link. поэтому я должен прокрутить только этот контейнер, который включает заголовки. Я использую Selenium с Python. Мой код

from selenium import webdriver 
from selenium.webdriver.common.keys import Keys 
import time 

driver = webdriver.Chrome('C:\\Program Files (x86)\\Google\\Chrome\\chromedriver.exe') 
driver.get("http://www.marketwatch.com/newsviewer") 
element = driver.find_element_by_tag_name('html') 
element.send_keys(Keys.END) 
time.sleep(8) 
element.send_keys(Keys.HOME) 

Я получаю сообщение об ошибке, которое говорит: "WebDriverException: Message: unknown error: cannot focus element". Я читал, как очистить бесконечный свиток на странице, но прокрутка определенного бесконечного прокрутки внутри страницы - это вызов для меня. Любая помощь будет оценена по достоинству.

Answer 1

А что-то вроде этого:

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") 

Не забудьте включить достаточное время сна, чтобы гарантировать, что содержимое правильно загружена. Более того, поскольку вы не ищете какой-либо конкретный текст, вам нужно будет решить, когда остановиться. Поэтому, возможно, как-то проверить, что данные, которые вы очищаете, перестали меняться.

Сказав это, убедитесь, что вам необходимо прокрутить. В некоторых случаях все данные в списке доступны напрямую, даже если они частично невидимы на экране. Прокрутка требуется только тогда, когда вам нужно загрузить дополнительные данные на страницу AJAX.