robots.txt

3зной

1ответ

Разрешить/категоризировать, но запретить/категорию/подкатегорию

Я пытаюсь разрешить /category в моем файле robots.txt. Под /category есть /subpages, и я хотел бы запретить что-либо после /category. Я уже пробовал запретить /category/subpage1 и /category/subpage2 в

1зной

2ответ

редактирование robots.txt в wordpress без плагина и без ручного редактирования

Я пытаюсь редактировать файл robots.txt в wordpress. Я могу сделать это вручную. Есть ли опция wordpress (без установки плагинов) для редактирования файла robots.txt или для этого нужно установить пла

-1зной

1ответ

Запретить все для всех агентов пользователя, кроме одного агента пользователя?

Как запретить все пользовательские агенты, кроме одного агента пользователя? Например, запретить все для всех агентов пользователя, но разрешить только роботу Googlebot?

-1зной

1ответ

Запретить определенные URL-адреса в robot.txt

В настоящее время я запускаю веб-службу, где люди могут просматривать продукты. URL для этого в основном просто /products/product_pk/. Однако мы не обслуживаем продукты с определенными product_pks, на

0зной

1ответ

Robots.txt запрещает определенную страницу не работает

У меня есть установка Magento, и я хочу исключить страницу режима ограничения конфиденциальности cookie-файла из Google. В моей robots.txt я установил следующий код: Disallow: /enable-cookies/ Disall