Я использую Joomla и вижу некоторые действительно странные изменения ссылок, которые индексируются. Я исследовал его довольно подробно и еще не нашел причину, но, похоже, он связан с именами категорий и идентификаторами.Использование robots.txt, чтобы остановить странное индексирование в Joomla
Независимо от этого, я пытаюсь решить проблему, заблокировав имена категорий и идентификаторы в файле robots.txt. Проблема в том, что, несмотря на все мои усилия, я не могу создать соответствующее правило запрета. Я пробовал бесчисленные вариации, и каждый раз, когда тестер robots.txt Google сообщает мне, что URL-адрес по-прежнему «разрешен».
Пример одного из имен категории и ID является: 64-сервис-зона
Я нахожу эту определенную категорию и идентификатор во всех видах URL, как этот один: /мест/северо-Dakota/64-service-area/hawaii/64-news
У кого-нибудь есть рекомендации относительно того, как я могу специально блокировать URL-адрес с 64-зоной обслуживания?
Возможный дубликат: http://stackoverflow.com/questions/31137082/robots-txt-disallow-a-folders-name-regardless-at-which-depth-it -may-show-up/31137499 – plasticinsect
Является ли область обслуживания категорией и имеет ли она 64? Или это так или иначе, что он получает 64 в два раза? – Elin
Большой вопрос. «Область обслуживания» является родительской категорией с множеством категорий детей. Идентификатор 64 не относится к «зоне обслуживания», а к дочерней категории в разделе «Область обслуживания». Идентификатор 64 фактически присваивается категории «Гавайи», которая является дочерью зоны обслуживания. Но это не только Гавайи и id 64, я часто нахожу, что категория «Область обслуживания» индексируется с любым количеством других подкатегорий. По иронии судьбы, ни одна из категорий не будет отсканирована, все они явно имеют атрибут «без индекса, не следуют». – user3010456