Являются ли метки Robots.txt и метаданных достаточными, чтобы остановить поисковые системы для индексации динамических страниц, зависящих от переменных $ _GET?

Question

Я создал страницу PHP, которая доступна только с помощью маркеров/пропуск получил через $ _GET

Поэтому, если вы идете к следующей ссылке вы получите родовую или пустой страницу

http://fakepage11.com/secret_page.php

Однако если вы использовали ссылку с жетоном он показывает специальный контент

http://fakepage11.com/secret_page.php?token=344ee833bde0d8fa008de206606769e4

Конечно, это не так безопасно, как страница входа в систему, но моя единственная проблема заключается в создании динамической страницы, которая не является индексируемой и доступна только через предоставленную ссылку.

Являются ли динамические страницы зависимыми от переменных $ _GET, индексированных Google и другими поисковыми системами?

Если это так, будет включать следующее, чтобы скрыть это?

• Robots.txt User-agent: * Disallow: /

• метаданные: <META NAME="ROBOTS" CONTENT="NOINDEX">

Даже если я набираю в гугле:

сайт: fakepage11.com/

Спасибо!

Answer 1

Если поисковик бота находит ссылку с токеном как-то¹, он может сканировать и индексировать его.

Если вы используете robots.txt запретить ползет страницу, соответствующие поисковые боты не будет сканировать страницу, но они все еще могут индексировать его URL (который затем может появиться в site: поиске).

Если вы используете meta - robots запретить индексацию на странице, в соответствии поисковых ботов не будет индексировать страницы, но они все еще могут просканировать.

Вы не может иметь как: Если запретить сканирование, корректные Боты никогда не может узнать, что вы также запретить индексацию, потому что они не могут посетить страницу, чтобы увидеть свой meta - robots элемент.

¹ Существует множество способов поиска ссылок в поисковых системах. Например, пользователь, который посещает страницу, может использовать a browser toolbar that automatically sends all visited URLs to a search engine.

Answer 2

Если ваша страница недоступна для поиска, она не будет проиндексирована.

по «обнаруживаемому» мы имеем в виду:.

1. это стандартный веб-страница, то есть индекс *
2. он ссылается другой ссылкой вашей или с другого сайта

Так в вашем случае, используя параметр get для доступа, вы достигаете 1, но не обязательно 2, поскольку кто-то может ссылаться на эту ссылку и, следовательно, на «скрытую» страницу.

Вы можете использовать robots.txt, который вы указали, и в этом случае страница не будет проиндексирована ботом, который бы уважал это (не все будет). Не индексирование вашей страницы не означает, конечно, что «скрытый» URL-адрес страницы не будет в дикой природе.

Кроме того, другая проблема - в зависимости от ваших требований - заключается в том, что вы используете незашифрованный HTTP, что означает, что ваши «скрытые» URL-адреса и содержимое страниц видны для каждого сервера между вашим сервером и пользователем.

Помимо поисковых систем, некоторые сервисы кэшируют/разрешают контент при обмене URL-адресами, например, в Skype или Facebook-мессенджере. В этом случае они будут посещать URL-адрес и пытаться извлечь метаданные и, возможно, кэшировать его, если это применимо. Конечно, этот сценарий не раскрывает ваш URL-адрес для публики, но он подвергается воздействию систем этих служб и с ними контент, который вы скрываете.

ОБНОВЛЕНИЕ: Другой вопрос, который следует рассмотреть, это разоблачение «скрытой» страницы путем ссылки на другую страницу. В этом случае в журналах сервера, на котором размещен связанный URL-адрес, ваша страница будет рассматриваться как реферал и, следовательно, будет видна, что также распространяется на Google Analytics и т. Д. Таким образом, если вы хотите оставаться скрытым, не ссылайтесь на другие страницы из скрытая страница.