Как разобрать текст из элемента таблицы html

Question

В настоящее время я пишу небольшой тестовый webscraper с использованием запросов python и библиотек lxml. Я пытаюсь извлечь текст из строк таблицы из this site, используя xpaths, чтобы однозначно идентифицировать таблицу. Поскольку сама таблица может быть идентифицирована только по имени ее класса и с учетом того факта, что имя класса не является уникальным, мне пришлось использовать родительский элемент div, чтобы указать его. В таблице в вопросе, в котором перечислены даты сезона заказа, киносъемки и airdates для шоу игра престолов, которую я пытаюсь выбрать по следующему пути:

tree.xpath('//div[@id = "mw-content-text"]//table[@class = "wikitable"]//text()') 

По какой-то причине, когда я напечатайте этот путь в оболочке, он возвращает пустой список. Я считаю, что печать этого пути будет просто отображать весь текст в таблице, который я пытался сделать, чтобы я мог реально получить содержимое; однако мне действительно нужно было бы печатать каждую строку таблицы.

Есть ли что-то не так с этим xpath? Если да, то каков правильный способ печати содержимого таблицы?

Answer 1

wikitable является слишком широким классом, чтобы различать таблицы на странице вики между собой.

Я бы вместо полагаться на предыдущем Adaptation schedule этикетке:

import requests 
from lxml.html import fromstring 

url = "https://en.wikipedia.org/wiki/Game_of_Thrones" 
response = requests.get(url) 
root = fromstring(response.content) 

table = root.xpath(".//h3[span = 'Adaptation schedule']/following-sibling::table")[0] 
for row in table.xpath(".//tr")[1:]: 
    print([cell.text_content() for cell in row.xpath(".//td")]) 

распечаток:

['Season 1', 'March 2, 2010[52]', 'Second half of 2010', 'April 17, 2011', 'June 19, 2011', 'A Game of Thrones'] 
['Season 2', 'April 19, 2011[53]', 'Second half of 2011', 'April 1, 2012', 'June 3, 2012', 'A Clash of Kings and some early chapters from A Storm of Swords[54]'] 
['Season 3', 'April 10, 2012[55]', 'Second half of 2012', 'March 31, 2013', 'June 9, 2013', 'About the first two-thirds of A Storm of Swords[56][57]'] 
['Season 4', 'April 2, 2013[58]', 'Second half of 2013', 'April 6, 2014', 'June 15, 2014', 'The remaining one-third of A Storm of Swords and some elements from A Feast for Crows and A Dance with Dragons[59]'] 
['Season 5', 'April 8, 2014[60]', 'Second half of 2014', 'April 12, 2015', 'June 14, 2015', 'A Feast for Crows, A Dance with Dragons and original content,[61] with some late chapters from A Storm of Swords[62] and elements from The Winds of Winter[63][64]'] 
['Season 6', 'April 8, 2014[60]', 'Second half of 2015', 'April 24, 2016', 'June 26, 2016', 'Original content and outlined from The Winds of Winter,[65][66] with some late elements from A Feast for Crows and A Dance with Dragons[67]'] 
['Season 7', 'April 21, 2016[50]', 'Second half of 2016[49]', 'Mid-2017[5]', 'Mid-2017[5]', 'Original content and outlined from The Winds of Winter and A Dream of Spring[66]']