Я настроил веб-URL для обхода данных веб-контента. Все веб-данные успешно сканируются в моем GSA, но я получаю «Исключено: роботы без индекса» сообщение в диагностике индекса для одного URL-адреса и документа с этого URL-адреса не индексируется в GSA.Исключено: роботы без индекса
документ не содержит [META NAME = "ROBOTS" CONTENT = "NOINDEX, NOFOLLOW"] metatag.
Вы наблюдали такое поведение в GSA?
Проверьте содержимое соответствующего файла robots.txt, там будет правило, если оно не находится на фактической странице в качестве метаданных.
Проверить начальные и заблокированные URL-адреса> Не следовать шаблонам в конфигурации GSA. Возможно, это исключено.
У меня была эта проблема. Сначала я проверил, что мой URL-адрес не исключается из индексации с помощью онлайн-тестеров robots.txt. Затем я протестировал свою ссылку в «Начать и блокировать URL-адреса» в GSA, чтобы убедиться, что она не соответствует фильтрам блоков.
Как только эти возможности были устранены, я отправился в Index -> Diagnostics -> Index Diagnostics и выбрав соответствующую коллекцию. Оттуда, как только я просвернулся и нажал на имя файла, появится экран с кнопкой «Повторить этот URL». Нажатие этой кнопки разрешило проблему для меня.
Я проверил файл robot.txt и не нашел никакого правила для запрета url-шаблона для этого url .... также их нет правила на странице –
Продолжайте искать, у вас есть правило, определенное где-то, и GSA просто чтит его , – BigMikeW