Robot.txt говорит, что заблокирован, но ничего не блокирует?

Question

Так что я пытаюсь получить Объявления на своем сайте. Он некоторое время пересматривался, поэтому я делаю кое-что, возможно, что-то блокирует ботов от ползания. Сегодня я узнал об этом, скажи мне, что это значит.

Во-первых: я загрузил и отобразил мой сайт в консоли поиска Google.

Я нажал robots.txt ссылку на праве изображения выше, и это показал:

Итак: я сделал робот ползать как все боты Google и получил позволено на моем файл роботов , Живой файл:

В моем файловом менеджере моего сайта приведенное выше изображение имеет мой фактический файл robots.txt. Могут ли мои объявления не проверяться из-за того, что мой файл роботов блокирует 2-й этап проверки?

Answer 1

Ваш robots.txt может блокировать только URL-адреса вашего хоста.

Сообщение из Google Search Console содержит внешний URL. Этот robots.txt внешнего хоста блокирует обход URL-адреса, о котором идет речь.

Вы ничего не можете с этим поделать (за исключением размещения собственного внешнего скрипта, но это, конечно же, невозможно во всех случаях).