robots.txt

0зной

1ответ

Disallow определенных папок в robots.txt с групповыми символами

Может ли я скрыть определенные папки из гусеничных со специальными символами, такими как: User-agent: * Disallow: /system/ Disallow: /v* Я хочу, чтобы скрыть все папки начинается с «V» характером.

1зной

2ответ

Я не могу найти файл robots.txt на сервере, но он отображается в url

Я совершенно новый. Это может показаться глупым для вас, ребята, но я застрял с ним. На сайте я получаю файл robots.txt. Но когда я смотрю на сервер, нет файла robots.txt. Но это может быть доступ с U

0зной

1ответ

Как отредактировать файл robots.txt по умолчанию в prestashop

Я определил, что определенная строка в файле robots.txt, который создает автоматически preashop, блокирует наши продукты из Google Покупки. линия в вопросе Disallow: /*n= Согласованный URL имеет нек

0зной

1ответ

Является ли начало пути достаточно в robots.txt?

У меня есть следующие файлы на моем сервере: /file /file.html /file/bob.html Я хочу, чтобы исключить их всех от индексации. Достаточно ли следующего robots.txt? User-Agent: * Disallow: /file Ил

1зной

1ответ

Google по-прежнему индексировать уникальных URL-адресов

У меня есть файл robots.txt, как создать такой User-agent: * Disallow: /* Для сайта, который все уникальные URL на основе. Подобно https://jsfiddle.net/, когда вы сохраняете новую скрипку, она дает