googlebot

1зной

2ответ

Лучший способ для приложения распознать ботов (Googelbot/Yahoo Slurp)

У меня есть сайт (Rails), а я хочу поисковых систем для сканирования и индексации. Тем не менее, у меня также есть некоторые действия, которые я хочу зарегистрировать, поскольку они произошли - и эти

1зной

2ответ

Инструменты для веб-мастеров гусеничные 403 ошибок

Инструменты Google для веб-мастеров отчетов 403 ошибок для некоторых папок на сервере сайтов, например: http://www.philaletheians.co.uk/Study%20notes/ В Isnt папку запрещенное, поэтому не понимаю, поч

4зной

1ответ

Как Googlebot знает, что веб-сервер не маскируется, когда он запрашивает URL?? _escaped_fragment_ = `?

Что касается AJAX Google, ползает спецификацию, если сервер возвращает один вещи (а именно, JavaScript-тяжелый файл) для #! URL и что-то еще (а именно, «HTML снимка» страницы) в Googlebot когда #! зам

1зной

1ответ

jQuery вызывает 404 ошибки в Инструментах для веб-мастеров on/a directory

Googlebot, похоже, сканирует внутри моего jQuery и создает ссылки, заканчивающиеся на/a, которые не существуют, а затем сообщают о них как ошибки 404. http://www.mySite.com/a Сайт проверяет зеленый

0зной

1ответ

User-агент смешивания iPhone & Googlebot

На моем сайте, я вижу это "странное" User-Agent: Mozilla/5.0 + (iPhone + U + CPU + iPhone + OS + 4_1 + как + Mac OS + + X + ан-нас) + AppleWebKit/532,9 + (KHTML, + как + Gecko) + версия/4.0.5 + Mobile

2зной

1ответ

Как предотвратить GoogleBot от поиска URL-адресов приобретений?

У меня есть apache перед zope 2 (несколько виртуальных хостов) с использованием стандартного простого правила перезаписи. У меня большие проблемы с некоторыми из старых сайтов, которые я размещаю и go