Поиск по всему веб-сайту с помощью API Google на localhost

Question

Я хотел бы запросить Google Поиск по многим темам (всего 800 запросов), например, «автомобили», чтобы получить первые 100 результатов на локальном хостинге с помощью Python. Как мне это сделать?

Google Custom Search Engine, похоже, работает только в том случае, если он используется на веб-сайте (мы должны указать адрес сайта, а localhost - отказ).

Старый API веб-поиска Google устарел. И это ограничено по количеству результатов (мы не можем получить 100 результатов, как мне хотелось бы).

This small independent Google Search tool может также работает для запроса или два, но я предполагаю, что будет запрещен, если я пытаюсь ~ 800 запросов

Answer 1

Существует страница, поддержка Google, описывающая, как это сделать.

https://support.google.com/customsearch/answer/2631040?hl=en

Он говорит:

On the Custom Search home page, click the search engine you want. 
Click Setup, and then click the Basics tab. 
Select Search the entire web but emphasize included sites. 
In the Sites to search section, delete the site you entered during the initial setup process. 

Это, кажется, работает для меня. Я полагаю, Google теперь включил это, что они взимают плату за поисковые запросы после первых 100 в день.