Веб соскабливает таблицу и не может найти исходный код

Question

Так что я очищаю этот сайт: http://www.basket.ee/et/meistriliiga/1/ajakava-ja-tulemused/?gid=2017001101, и я не могу получить данные со второй таблицы. Статистика первых команд находится в исходном коде, но статистика вторых команд - нет.

Если я щелкнул правой кнопкой мыши и посмотрел исходный код в браузере, тогда я вижу таблицу обеих команд, но когда я очищаю данные с помощью BeautifulSoup, там находится таблица, но нет данных внутри нее.

Answer 1

Я сделал демы для вас, вы можете refrence это:

import requests, bs4 

r = requests.get('http://www.basket.ee/et/meistriliiga/1/ajakava-ja-tulemused/?gid=2017001101') 

soup = bs4.BeautifulSoup(r.text, 'lxml') 

tables = soup.find_all('table', class_='basket_table')[1:] 
for table in tables: 
    for tr in table('tr', attrs=False): 
     row = [cell.text for cell in tr(['td', 'th'])] 
     print(row) 

из:

['Nr.', 'Mängija', 'Pos.', 'Min', '2p', '3p', '1p', 'KL', 'RL', 'L', 'RS', 'VL', 'BL', 'PK', 'V', 'VM', 'PNK', 'PIR'] 
['4', 'Paiste, Mario *', '2', '31:53', '4/7', '2/6', '1/3', '2', '1', '3', '2', '1', '0', '3', '4', '4', '15', '9'] 
['5', 'Post, Siim-Markus *', '1', '23:32', '1/2', '1/5', '2/5', '2', '0', '2', '2', '1', '0', '3', '5', '5', '7', '1'] 
['6', 'Metsalu, Oliver *', '3', '30:46', '2/7', '0/1', '0/0', '3', '2', '5', '3', '1', '0', '3', '5', '0', '4', '-1'] 

Answer 2

Его немного жестким, чтобы помочь вам отлаживать код без кода ;-)

Но, я предполагаю, что вы либо используете find метод, который возвращает только первый матч, или у Вас есть ошибка в ваших селекторах.

Быстрый просмотр сайта указывает, что если вы используете find_all и выбираете в классе 'basket_table', вы получите список из трех таблиц, причем последние два являются теми, на которые вы смотрите.

Посмотрите here для получения инструкций по поиску по классу css.

Надеется, что это помогает