сеть недоступна: robots.txt недоступен

Question

Я получаю ошибку «сеть недостижима: robots.txt недоступен» при попытке добавить свой сайт в Google Webmaster tools ->http://www.hyponomist.com/

Вы можете проверить мой robots.txt at here и sitemap.xml at here

У меня есть другие сообщения здесь и там, но не могу решить/понять. что вызывает эту проблему. Кроме того, я попытался загрузить страницу с помощью инструмента Fetch как Googlebot, но получил такую ​​же ошибку.

Кто-нибудь знает?

Заранее благодарен!

Answer 1

Ваш веб-сервер возвращает ошибку 503, когда строка пользовательского агента сообщает, что запрос отправлен из Googlebot, но 200, когда он из браузера. Если вы используете диагностический инструмент http, такой как Fiddler (http://fiddler2.com/), вы можете это увидеть.

Если вы используете Скрипач отправить тот же запрос, что браузер будет отправить:

GET http://www.hyponomist.com/robots.txt HTTP/1.1 
Host: www.hyponomist.com 
Connection: keep-alive 
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8 
User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.72 Safari/537.36 
Accept-Encoding: gzip,deflate,sdch 
Accept-Language: en-US,en;q=0.8 

Отклик:

HTTP/1.1 200 OK 
Server: nginx/1.4.4 
Date: Fri, 10 Jan 2014 21:34:42 GMT 
Content-Type: text/plain; charset=UTF-8 
Transfer-Encoding: chunked 
Connection: keep-alive 
Retry-After: 18000 
Last-Modified: Fri, 10 Jan 2014 20:43:28 GMT 
Content-Encoding: gzip 

Если изменить агента пользователя, чтобы имитировать Googlebot:

GET http://www.hyponomist.com/robots.txt HTTP/1.1 
Host: www.hyponomist.com 
Connection: keep-alive 
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8 
User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) 
Accept-Encoding: gzip,deflate,sdch 
Accept-Language: en-US,en;q=0.8 

Тогда ответ будет следующим:

HTTP/1.1 503 Service Temporarily Unavailable 
Server: nginx/1.4.4 
Date: Fri, 10 Jan 2014 21:35:25 GMT 
Content-Type: text/html; charset=iso-8859-1 
Content-Length: 234 
Connection: keep-alive 
Retry-After: 18000 

Именно поэтому он делает это, я не могу сказать вам. 503 обычно является ошибкой, отправленной, когда сервер временно перегружен, но это явно не так. Может быть, ваш брандмауэр плохо настроен и черный список Googlebot основан на частоте запроса? Посмотрите настройки брандмауэра и конфигурацию вашего сервера.

Answer 2

Удаление слэш (используйте http://www.hyponomist.com вместо http://www.hyponomist.com/) может помочь