Является rel = self правильным тегом rel для использования в форумах permalinks?

Question

Я строил форум с нуля с друзьями только ради удовольствия, и мы начинаем видеть ботов и скребок. Проблема, с которой мы сталкиваемся, заключается в том, что вы можете загрузить страницу/сообщение/1 с четырьмя ответами, и каждый ответ включает в себя немного постоянных ссылок на себя/reply/1 # reply-1. Если я нахожусь в/post/1 и перехожу к/reply/1, я вернусь туда, где я начал, только с привязкой к ответу. Но! Скребки не имеют представления, что это так, поэтому они открывают каждую/пост-ссылку, а затем следуют за каждой/ответной ссылкой, и это вызывает проблемы с производительностью, поэтому я просматриваю сайты SEO, чтобы попытаться исправить это.

Я начал использовать rel = canonical на странице/reply, чтобы рассказать ботам, что они все одинаковые, но насколько я могу судить, это не помогает мне , пока бот уже загрузил страница, и, таким образом, я заканчиваю тонны трафика. Было бы правильно, чтобы изменить мои

<a href="/reply/1#reply-1">Permalink</a> 

тегов для

<a href="/reply/1#reply-1" rel="self">Permalink</a> 

, так как они должны быть таким же содержанием? Или это будет неправильно использовать rel = "self", и есть другой, лучший тег rel, который я должен использовать вместо этого?

Answer 1

self ссылка типа не определен для HTML (но for Atom), поэтому он can’t be used in HTML5 документов.

canonical тип ссылки подходит для вашего случая (если вы убедитесь, что он всегда указывает на правильную страницу, в случае, если поток разбивается на страницы), но это не мешает ботам искателем URL.

Если вы хотите, чтобы предотвратить сканирование, не тип ссылки не поможет (даже не nofollow ссылки типа, но это not appropriate for your case так или иначе). Вы должны были бы использовать robots.txt и т.д .:

User-agent: * 
Disallow: /reply/ 

сказанного, вы, возможно, захотите рассмотреть вопрос об изменении дизайна постоянную ссылку. Я думаю, что это не полезно (ни для ваших пользователей, ни для ботов), чтобы иметь такую ​​архитектуру. Хорошая практика состоит в том, чтобы иметь ровно один URL-адрес на один документ, и если пользователи хотят ссылаться на определенную запись, нет причин требовать новую загрузку страницы, если это фактически тот же документ.

Так что я бы использовать либо «канонический» URL и добавить компонент фрагмента (/post/1#reply-1, или то, что может сделать больше смысла: /threads/1#post-1), или (если вы думаете, что может быть полезно для ваших пользователей) Я хотел бы создать страницу что только содержит ответ (со ссылкой на полную версию).