синтаксический анализ xml и html-страницы с пакетом lxml и запросов в python

Question

Я пытаюсь разобрать страницу xml и html с помощью пакета lxml и запросов в python. Я использую следующий код для этой цели:

в Python:

import requests 
import lxml.etree 
url = "" 
req = requests.get(url) 
tree = html.fromstring(req.content) 
root = tree.xpath('') 
for item in root: 
    print(item.text) 

Этот код работает отлично, но для некоторых веб-страниц не может показать их содержимое правильно и необходимо установить Кодировка UTF-8, но я не Не знаю, как я могу добавить кодировку в этом коде

Answer 1

requests автоматически декодирует контент с сервера.

Важно понять:

r.content - содержит еще не декодированного содержание ответа

r.encoding - содержит информацию о реакции кодирования контента

r.text - в соответствии с official doc он уже декодированного версию r.content

стандарт Юникода, привыкает к r.text, но вы все равно можете декодировать контент вручную с помощью

r.content.decode(r.encoding) 

Надеется, что это помогает.