robots.txt

2зной

1ответ

Я пытаюсь создать скребок, но когда я запускаю следующий код, он говорит, что роботы не разрешены. Это для моих внутренних целей, но есть ли обходной путь для роботов, запрещенных? Я тестирую его на э

0зной

1ответ

Что происходит, когда GET robots.txt возвращает несвязанный html-файл?

У меня есть веб-сервер, способный обслуживать активы различных веб-приложений. Когда запрошенный актив не существует, он отправляет обратно index.html. Другими словами: GET /img/exists.png -> exists.p

1зной

1ответ

Нужно указать/запретить субдомены в файле robots.txt

Доброе утро. Итак, я столкнулся с сложной ситуацией. Моя среда - это 2-сторонняя зеркальная настройка. У меня есть 2 поддомена для каждого конкретного сервера, когда это необходимо. Я бы хотел запрети

0зной

1ответ

robots.txt Not Updating

Сегодня я получил электронное письмо от Инструментов для веб-мастеров, в котором говорится, что «Googlebot не может получить доступ к файлам CSS и JS». Поэтому я решил обновить файл robots.txt, распол

2зной

2ответ

Разрешение обхода файлов Javascript и CSS

Включает ли этот блок или разрешает доступ к боту Google? User-Agent: Googlebot Allow: /*.js* Allow: /*.css* Кто-нибудь знает, что формат robots.txt блокирует или разрешает доступ к Google Bot?

4зной

5ответ

Googlebot не может получить доступ к файлам CSS и JS?

Полученное предупреждение aGoogle Поиск консоли - "Googlebot не может получить доступ к CSS и JS" Mine robots.txt User-agent: * Disallow: /_System Disallow: /bcas-homepage-slider Disallow: /css Di

0зной

1ответ

Разрешить все файлы в корневой директории, и запретить все каталоги, если специально не разрешено

мне нравится, чтобы запретить все, кроме: Все файлы в корневой директории веб Заданные каталоги в веб-корень. Я видел этот пример в this answer Allow: /public/section1/ Disallow:/ Но разве выше, поз

3зной

2ответ

Django to AWS: favicon, robots.txt и карта сайта?

Я развернула сайт Django для Elastic Beanstalk с помощью этого учебника: https://realpython.com/blog/python/deploying-a-django-app-to-aws-elastic-beanstalk/ Но я понятия не имею, где и как поставить f