robots.txt

0зной

1ответ

Robots.txt запрещает папку, но разрешает вложенные папки

Я пытаюсь установить ее там, где www.url.com/folder запрещен, но разрешено использование www.url.com/folder/1. Я его настроить следующим образом: User-agent: * Disallow: /folder Allow: /folder/* ,

3зной

1ответ

запрещает googlebot от индексирования типов файлов в файлах robots.txt и .htaccess

Существует много вопросов о переполнении стека о том, как предотвратить индексирование бот-бота, например, txt файлов. Там это: robots.txt User-agent: Googlebot Disallow: /*.txt$ .htaccess <Files ~

-1зной

1ответ

Извлечь как Google - Статус частично

Я использовал инструмент Google для веб-мастеров для «Получить как Google», но я получил ответ «частично», потому что некоторые ресурсы заблокированы. Когда я проверяю результат, я могу прочитать, что

1зной

1ответ

SEO - robots.txt запрещая папку

Будут ли эти 2 строки в файле robots.txt успешно остановить Google индексировать страницы с URL, который выглядит примерно так: http://www.domain-name.com/продукта теге/... User-agent: * Disallow: /p

1зной

1ответ

robots.txt: как запретить все подкаталоги, но разрешить родительскую папку

Я хотел бы запретить все подкаталоги в моей папке /search, но разрешить индексирование самой папки поиска (у меня есть контент на /search). Тестирование это не работает: User-Agent: * Allow: /search/