Как открыть сайты facebook/gmail/authencation с помощью python urllib2.urlopen?

Question

Я пытаюсь написать небольшой веб-прокси с помощью python, я могу загружать и показывать обычные веб-сайты, но я не могу войти в facebook/gmail/... что угодно с логином. Я видел несколько примеров аутентификации здесь http://docs.python.org/release/2.5.2/lib/urllib2-examples.html, но я не знаю, как я могу сделать общее решение для всех веб-сайтов с логином, любой идеей?

мой код:

def showurl(): 
    url=request.vars.url 
    response = urllib2.urlopen(url) 
    html = response.read() 
    return html 

Answer 1

Ваш прокси-сервер должен хранить куки, поиск StackOverflow для cookielib.

Многие веб-сайты аутентифицируют клиентов по-разному, поэтому ваша задача - подделать клиента как можно больше с вашим прокси-сервером. Некоторые веб-сайты аутентифицируются по типу браузера, некоторые - путем создания файлов cookie и хранения sessionId в нем или другого скрытого содержимого JavaScript, что позволяет выполнять некоторые шаги аутентификации. Что касается моего небольшого опыта, все важные вещи заканчиваются куки.

Это просто плоский пример использования cookielib.

import urllib, urllib2, cookielib, getpass 

username = '' 
button = 'submit' 
www_login = 'http://website.com' 

cj = cookielib.CookieJar() 
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj)) 
opener.addheaders.append(('User-agent', 'Mozilla/4.0')) 
opener.addheaders.append(('Referer', '/dev/null')) 

login_data = urllib.urlencode({'username' : username, 'password': getpass.getpass("Password:"), 'login' : button}) 
resp = opener.open(www_login, login_data) 
print resp.read() 

Редакцией: Не вводить в заблуждение себя с «проверкой подлинности HTTP» и аутентификация с помощью facebook/Gmail, потому что это разные вещи. «Базовая аутентификация HTTP» или «Digest HTTP Authentication» осуществляется через веб-сервер не веб-сайт, который вы хотите, чтобы войти.

Answer 2

http://www.voidspace.org.uk/python/articles/authentication.shtml#id24