robots.txt

-1зной

1ответ

У меня есть сервер с несколькими сайтами, из которых я хочу заблокировать только один. Я знаю, что robots.txt принимает следующее: User-agent: * Disallow:/ Чтобы блокировать ботов сканирование сайта

0зной

1ответ

Как удалить результаты поиска google для перенаправления 303?

Я запускаю динамический сайт, который может перенаправлять или не перенаправлять определенный маршрут на основе пользовательских настроек. Предположим, что это http://clientname.example.com/maybe. У н

0зной

1ответ

Как заблокировать пользователей на основе имени сети или устройства

Я искал в Интернете, чтобы найти способ заблокировать пользователей с моего сайта с определенным именем сети или именем устройства, и, к сожалению, я ничего не нашел. Я нашел this, но он не объясняет,

2зной

1ответ

Я не могу получить доступ к Robots.txt в Spring-MVC

Я пытаюсь предоставить доступ к robots.txt в Spring-MVC. Чтобы проверить код, я положил robots.txt в WebContent, Root и WEB-INF, но я не могу получить доступ к ним. Я уже применял ответы на эти вопрос

0зной

1ответ

Использование robots.txt, чтобы остановить странное индексирование в Joomla

Я использую Joomla и вижу некоторые действительно странные изменения ссылок, которые индексируются. Я исследовал его довольно подробно и еще не нашел причину, но, похоже, он связан с именами категорий

1зной

1ответ

Как запретить Googlebot только для определенного набора переменных страницы?

У меня есть страница, которая https://www.somedomain.com, а затем в соответствии с этой страницы, у меня есть возможность для пользователей, чтобы изменить язык, как https://www.somedomain.com/?change