robots.txt

1зной

2ответ

Я пытаюсь создать парсер robots.txt, и я застрял в простой точке на уме: Каковы правила для файла robots.txt? Я начал искать его, и на robotstxt.org Я нашел document с 1996 года, которые определяют не

-3зной

1ответ

Вопросы о Kentico v6 - Что касается 301 перенаправления, файла роботов и XML-файла Sitemap

У меня есть переадресация не-www на www-код, но где обновить его в kentico v6? Как обновить файл robots.txt в kentico v6? Как я могу добавить xml карту сайта в kentico v6?

1зной

1ответ

Где разместить файл robots.txt с G-WAN?

Я хочу, чтобы запретить роботам сканировать папку csp и планируют использовать следующий файл robots.txt: User-agent: * Disallow: /csp Итак, мой вопрос дважды: Является ли синтаксис правильным для

1зной

3ответ

Googlebot не распознает динамический robots.txt

Я создал динамический маршрут с laravel, который служит для ответа txt. Он работает в браузере, но googlebot говорит, что нет файла robots.txt. Это заголовок, который я получаю: Cache-Control →no-cach

0зной

1ответ

Как заблокировать субдомен, используемый для службы сокращения URL-адресов с помощью robots.txt?

Скажем, мой домен example.com. На www.example.com я создал свой основной сайт (настроен с помощью Blogger) и использовал go.example.com для сокращения URL (настройка с помощью GoDaddy Shortened Servic

0зной

1ответ

Joomla Redirect Manager не работает?

Я только что нашел диспетчер перенаправления Joomla. Пробовал перенаправить этот адрес http://www.eldvigateli.com/електродвигатели-елин/новини-електродвигатели/334-смяна-лагери к этому: http://www.eld