Алгоритм и поведение алгоритма Google AdSense

Question

Мне интересен алгоритм и поведение бота Google AdSense с веб-сайтом. Я не работал с AdSense, и у меня нет учетной записи. Поэтому мне нужна ваша помощь, чтобы понять:

1) Gbot время от времени загружает все страницы с веб-сайта. Я прав?

2) Gbot не понимает динамический контент (загружается ajax). Поэтому я должен генерировать статический контент и возвращать его на html-странице, и эти страницы должны показывать идентичный контент для всех пользователей и для Gbot?

3) Из-за (1) и (2) я не могу использовать только корневой путь http://example.com с некоторым «основным» виджетами. Я должен создавать уникальные страницы, например, http://example.com/thread?id=101?

4) Gbot загружает страницы (1) для захвата (индексирования) ключевых слов из них, а затем сохраняет (на своих серверах) эту информацию, например, по ключу/значению (где ключ - путь к странице, значение - облако тегов). Я прав?

5) Когда веб-сайт был открыт в браузере пользователем. Интегрированный html код AdSense загружает некоторый JavaScript. Как я понимаю по «googling», этот JavaScript не индексирует страницу, а делает вызов (с некоторым ключом параметра == page_path) сервером Google и получает соответствующие рекламные ссылки. Затем показывает эти рекламные ссылки в своем фрейме. Правильно ли это поведение? Может быть, JavaScript делает локальную индексацию содержимого страницы?

6) Как работает JavaScript Gbot и AdSense с куки-файлами? Насколько я понимаю, AdSense может использовать файлы cookie для отображения соответствующих рекламных ссылок. Если это правильно, пожалуйста, дайте мне несколько вариантов использования;)

Я знаю, что «истинный» алгоритм известен только инженерам из Google. Но некоторые из вас имели опыт работы с AdSense и AdSense html/javascript. Пожалуйста, исправьте мое видение этого;)

Большое спасибо за любой совет !!!

P.S. Этот вопрос очень важен для меня. Это не какой-то вопрос для удовольствия! Поэтому, пожалуйста, не закрывайте его;)

Answer 1

1) Да, если Googlebot может получить доступ к страницам, и если он знает о страницах, через ссылку, XMLSitemaps, Google +1 и т.д.

2) Googlebot теперь будет делать AJAX/XHR просит понять содержимое AJAX (http://googlewebmastercentral.blogspot.com/2011/11/get-post-and-safely-surfacing-more-of.html).

Да, вы должны показывать одно и то же содержание роботу Googlebot, как и пользователям, иначе это будет рассматриваться как клоакинг, что противоречит их рекомендациям.

3) Этот вопрос непонятен. Но в основном предпочтительнее изменить URL-адрес, потому что Google будет знать, как индексировать контент отдельно. Если вы используете AJAX, тогда вы можете захотеть рассмотреть такие постоянные ссылки, как вы предложили, или вы можете использовать popstate HTML5.

4) Да Google будет индексировать слова на странице. Я не уверен, что они хранят его как пару ключ/значение. Я даже не уверен, что они все еще используют Big Table (http://labs.google.com/papers/bigtable.html) ... но, скорее всего, они используют Big Table или аналогичную систему для хранения инвертированного индекса ,

5) Код AdSense встроен Javascript ... для новых веб-страниц, которые Google не видел раньше, он пытается доставить наиболее релевантные объявления на основе информации, найденной в Интернете о сайте или, возможно, с помощью якоря текст ссылок, указывающих на эту страницу.Однако, чтобы получить более точное представление о содержании страницы, Google отправит конкретный бот adense для сканирования вашей страницы ... иногда вы увидите, что он приходит очень быстро, даже когда вы загружаете страницу для первого время. Он использует другой пользовательский агент, чем обычный Googlebot ... здесь вы можете найти все Пользовательские агенты из Google (http://www.google.com/support/webmasters/bin/answer.py?answer=1061943)

6) Сканеры Google не принимают файлы cookie и не передают файлы cookie на ваш сервер. Это связано с широко распространенным характером сканеров Google, что затрудняет сохранение файлов cookie или сеансов.