robots.txt

-1зной

2ответ

Проверка того, как робот Google видит местный сайт

Как проверить, как робот Google видит мой местный сайт? Есть ли официальный инструмент Google? Я слышал об одном, что проверяет интернет-сайты, но как насчет локального сайта, недоступного для сети?

0зной

2ответ

Должен ли быть включен файл Sitemap для Google в файл robots.txt

Я прочитал руководство по карте Sitemap для новостей Google, но не смог определить, нужно ли ссылаться на Sitemap для сайта Google на сайте robots.txt. https://support.google.com/news/publisher/answer

6зной

2ответ

Azure домен проиндексирован google

У меня есть сайт с доменом example.azurewebsites.net. У меня также есть настраиваемый домен, настроенный для него «www.example.com». Google индексирует мой сайт example.azurewebsites.net, и я хочу, чт

0зной

2ответ

Почему робот Googlebot не сканирует этот файл robots.txt?

Я не понимаю, почему Googlebot не может сканировать и индексировать созданный мной веб-сайт WordPress. Это то, что у меня есть мой robots.txt: User-agent: * Disallow: /wp-admin/ Disallow: /wp-includ

0зной

2ответ

Имеет ли значение, если путь Disallow отличается от каталога Drupal?

Я ищу NoIndex все мои теги страницы, то есть http://example.com/tags/tabs http://example.com/tags/people т.д. Если добавить следующее к моей странице robots.txt (см http://jsfiddle.net/psac2uzy/) D

6зной

2ответ

Блок bingbot сканировал мой сайт

Я хотел бы т полностью блокировать Бинг сканировать мой сайт сейчас (его нападения на мой сайт с угрожающей скоростью (500 Гб данных в месяц). Я 1000 поддоменов добавлен в Бинг инструменты для веб-мас

0зной

1ответ

Кто-то с помощью нашего сайта на robots.txt

Несколько недель назад, мы обнаружили, кто-то происходит на нашем сайте с robots.txt каталогом: http://www.ourdomain.com/robots.txt Я делал некоторые исследования, и он сказал, что robots.txt делает р