Python - Чтение веб-страницы после аутентификации

Question

Во-первых, извините за мой английский, это не мой родной язык. Во всяком случае, некоторые грамматические ошибки не убьют вас :) Надеюсь.

Я не могу получить информацию с веб-страницы из-за системы аутентификации.

Сайт: www.matchendirect.fr Это французский сайт и нет никакого способа, чтобы превратить его в английский (извините за неудобства) Этот сайт отображает информацию футбол.

Моя цель - получить прогнозные данные (отображается в середине страницы, есть таблица с прогнозом, отображаемая под названием «Pronostics des internautes», но содержимое этой таблицы отображается, только если вы вошли в систему)

Вот мой код:

import urllib2, cookielib 
cookieJar = cookielib.CookieJar() 
auth_url="http://www.matchendirect.fr/cgi/ajax/authentification.php?f_contexte=auth_form_action&f_email=pkwpa&f_mot_de_passe=pkw_pa" 
url="http://www.matchendirect.fr/live-score/colombie-bresil.html" 
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookieJar)) 
request = urllib2.Request(auth_url) 
response = opener.open(request) 
response = opener.open(url) 
webpage=response.read() 

чтобы быть уверенным, что войти, можно попробовать следующее:

if webpage.find("prono_stat_data")!=-1: 
    print("I'm logged in") 

Я думаю, что мое печенье Managment не хорошо ...

Вот мои учетные данные, играйте с ними, это, очевидно, фальшивая учетная запись, созданная только для этой темы.

Имя пользователя: pkwpa пароль: pkw_pa

Надежда кто-то может мне помочь.

Answer 1

здесь является то, что вы ищете: http://docs.python-requests.org/en/latest/user/install/#install Используйте его, как показано ниже: от запросов импортировать сеанс

with session() as c: 
    c.get('http://www.matchendirect.fr/cgi/ajax/authentification.php?f_contexte=auth_form_action&f_email=pkwpa&f_mot_de_passe=pkw_pa') 
    request = c.get('http://www.matchendirect.fr/live-score/colombie-bresil.html') 
    print request.headers 
    print request.text 

Приветствия

Answer 2

Попробуйте добавить заголовок нож. Я когда-то была проблема решена с использованием заголовка

import urllib2 
opener = urllib2.build_opener() 
opener.addheaders = [('User-agent', 'Mozilla/5.0')] 
opener.open('http://www.example.com/') 

добавление к коду

import urllib2, cookielib 
cookieJar = cookielib.CookieJar() 
auth_url="http://www.matchendirect.fr/cgi/ajax/authentification.php? f_contexte=auth_form_action&f_email=pkwpa&f_mot_de_passe=pkw_pa" 
url="http://www.matchendirect.fr/live-score/colombie-bresil.html" 
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookieJar)) 
opener.addheaders = [('User-agent', 'Mozilla/5.0')] 
opener.addheaders.append(('Cookie', 'cookiename=cookievalue')) 
request = urllib2.Request(auth_url) 
response = opener.open(request) 
response = opener.open(url) 
webpage=response.read()