Каков правильный способ Google что-то в Python 3? Я пробовал requests и urllib для страницы Google. Когда я просто res = requests.get("https://www.google.com/#q=" + query), который не возвращается с тем же HTML, как при проверке страницы Google в Safari. То же самое происходит с urllib. Подобное происходит, когда я использую Bing. Я знаком с AJAX. Однако, похоже, это сейчас обесценивается.Как Google на Python Использование urllib или запросов
В python, если вы не укажете заголовок пользовательского агента в HTTP-запросах вручную, python по умолчанию добавит вам, который может быть обнаружен Google и может быть запрещен им.
Попробуйте следующее, если это может вам помочь.
import urllib
yourUrl = "post it here"
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}
req = urllib.request.Request(yourUrl, headers = headers)
page = urllib.request.urlopen(req)
Вначале он сказал, что 'urllib не имеет атрибута urlopen', но это просто исправить его просто' urllib.requests.urlopen' –
@ DylanSiegler. Это в основном потому, что вы используете python3, но мой код - python2.So я изменю его на python3.Retry. –
Что такое запрос в 'urllib.request.Request (query, headers = headers)'? Это то, что я хочу в Google? –
Вам лучше использовать Selenium (для имитации реального браузера без гарнитуры или нет) вместо запросов (просто загрузка простого HTML, если ответ mimetype так). –