robots.txt

0зной

1ответ

AMP HTML-файл не может отображаться, потому что https://cdn.ampproject.org/robots.txt установлен для запрета

Извлеките и обработайте мои файлы HTML AMP и все, один за другим, с той же проблемой. В докладе Search Console указывается "Googlebot не может получить все ресурсы для этой страницы Вот список:." URL:

1зной

1ответ

Как настроить Apache Nutch 2.3 для выполнения метатага роботов?

У меня есть установка Nutch 2.3 с HBase в качестве бэкэнд, и я запускаю сканирование, которое включает в себя индекс для дедупликации Solr и Solr. Я недавно заметил, что индекс Solr содержит нежелател

0зной

1ответ

Google robots.txt Тестер для googlebot выбрасывает ошибку при Disallow: .idea

Google robots.txt Тестер для googlebot вызывает ошибку на Disallow: .idea. Однако он сообщает 0 ошибок и 0 предупреждений.

1зной

2ответ

Являются ли метки Robots.txt и метаданных достаточными, чтобы остановить поисковые системы для индексации динамических страниц, зависящих от переменных $ _GET?

Я создал страницу PHP, которая доступна только с помощью маркеров/пропуск получил через $ _GET Поэтому, если вы идете к следующей ссылке вы получите родовую или пустой страницу http://fakepage11.com/s

2зной

1ответ

Есть ли преимущество использования X-Robot-Tag вместо robots.txt?

Похоже, есть два основных решения для инструктирования сканеров, что индексировать и что не индексировать: добавление HTTP-заголовка X-Robot-Tag или указание файла robots.txt. Возможно ли использовани

1зной

1ответ

роботы относятся ли к агенту пользователя в файле robots.txt, используя OR или AND образом

Скажем, у меня есть список пользовательских агентов в моем файле robots.txt, как User-agent: Applebot Disallow: something User-agent: baiduspider Disallow: something User-agent: Bingbot Disallo

1зной

1ответ

Google Master Tool: как разрешить внешние ссылки в robots.txt

У меня проблема с рендерингом google. Googlebot не смог получить все ресурсы для этой страницы. Потому что его заблокировал свой собственный google robots.txt Вот пример внешней ссылки. https://www.go