robots.txt

0зной

1ответ

Исключить определенные URL-адреса в Django urls.py, когда на моем тестовом (а не производственном) сайте

Я запускаю наши производственные и тестовые сайты на Heroku. У меня есть файл robots.txt и sitemap, который я хочу запускать только в процессе производства (чтобы Google не запускал сканирование нашег

2зной

1ответ

Как разрешить js и css файлы и изображения в файле robots.txt, если я запретил родительские папки

В тестовом инструменте для мобильных веб-сайтов из Google (https://www.google.com/webmasters/tools/mobile-friendly/) говорится, что мой сайт не оптимизирован для мобильных устройств, но это. И причина

0зной

1ответ

Перенаправление файла robots.txt на страницу php

У меня есть система, которая обрабатывает несколько доменов в одной файловой структуре, и для каждого домена потребуется другая карта сайта и robots.txt. Для карты сайта Я настроил перенаправление, и

9зной

1ответ

Файл Robots.txt в MVC.NET 4

Я прочитал статью об игнорировании роботов из некоторого URL-адреса в моем проекте ASP MVC.NET. В своей статье автор сказал, что мы должны добавить некоторые действия в некоторых контроллерах, подобны

0зной

1ответ

Как я могу эффективно предотвращать запросы ботов или, по крайней мере, мешать им забивать мои журналы?

Я предполагаю, что ошибки я получаю вызваны ботов, которые имеют: индексируется мой предыдущий сайт под одной и той же области; и являются зондирование уязвимостей. Вот некоторые из ошибок: Код: 404;

0зной

4ответ

Wordpress - Robotx.txt позволяет администратору войти?

Во-первых, я искал robots.txt для Wordpress, но никто не сказал мне, где находится этот файл. Итак, я прочитал, что robots.txt в Wordpress является виртуальным. Хорошо, никаких проблем. Но, где я нахо

1зной

2ответ

Что означает /*.php$ в файле robots.txt?

я наткнулся на сайт, который использует следующее в файле robots.txt: User-agent: * Disallow: /*.php$ Так что же делать? Не позволит ли веб-сканерам сканировать следующие URL-адреса? https://exampl