2016-12-10 5 views
0

Я пытаюсь отказаться от веб-сайта. Он состоит из футбольного сайта, на котором перечислены все матчи всех сезонов. Так я пытаюсь ломом HTML-страниц в каждой игре каждого сезона Вот URL: http://www.lfp.fr/ligue1/calendrier_resultat#sai=77&jour=1python urlopen: только первый атрибут URL-адреса берется через данные

Что я делаю:

url = 'http://www.lfp.fr/ligue1/calendrier_resultat#' 
data = {'sai':77,'jour':10} 
url_values = urlencode(data) 
response = urlopen(url,url_values) 
soup = BeautifulSoup(response) 

сай сезон и Jour является Неделей

проблема в том, что указанная страница зависит только от значения «sai», независимо от того, какой «jour» равен, он всегда будет возвращать одну и ту же страницу, и она всегда будет на прошлой неделе.

Например, я могу ввести такой url: http://www.lfp.fr/ligue1/calendrier_resultat#sai=77OUHIGYGO8TY98 Не важно, что произойдет после sai = 77. Я не знаю, почему он это делает, и мне действительно нужна помощь. Спасибо

+0

Сервер, вероятно, игнорирует что-либо после '#', поэтому я был бы удивлен, если какой-либо из этих двух параметров изменит URL. Но также я думаю, что вы «POST», чтобы данные были формой для «url», а не просто для получения этого URL-адреса. Во всяком случае, похоже, что контент загружается динамически с помощью javascript, поэтому вы должны использовать селен. Шанс Бонны! –

+0

О, я слышал о селене. Думаю, я тоже это рассмотрю. Большое спасибо ! –

ответ

0

Благодаря некоторым другим ответам на сообщения stackoverflow, я, наконец, решил проблему.

Проблема заключалась в том, что часть URL после # является частью на стороне клиента, которая никогда не отправляется на сервер. Фактически, есть истинный URL-адрес, который отправляется на сервер, и я нашел его с помощью Mozilla: вы просто переходите к инструментам разработчика и переходите на вкладку сети. Прокрутите элементы вкладки с левой стороны, и для каждого элемента вы увидите соответствующий «URL-адрес запроса». Если вы обратите внимание, вы найдете правильный элемент, чей URL-адрес запроса похож на URL с символом #. Просто скопируйте его, и ваша проблема будет решена.

 Смежные вопросы

  • Нет связанных вопросов^_^