Сайты SEO и AJAX

Question

Возможно ли помочь поисковым системам, указав им список URL-адресов для сканирования? Возможно, было бы сложно сделать сайт SEO дружественным при использовании жесткой логики AJAX. Предположим, что пользователь выбирает категорию, затем подкатегорию и продукт. Нет необходимости указывать URL-адреса и подкатегории. Но предоставление только продуктов URL имеет смысл. Когда я вижу URL-адрес продукта, я могу заставить приложение перейти к этому продукту. Итак, можно ли использовать robots.txt или какой-либо другой метод, чтобы направить поисковые системы на URL, которые я обозначил?

Я открыт для других предложений, если это как-то не имеет смысла.

Answer 1

Да. То, что вы описываете, называется sitemap - это список страниц вашего сайта, которые поисковые системы могут использовать, чтобы помочь им сканировать ваш веб-сайт.

Существует несколько способов форматирования карты сайта, но самым простым является просто указать все URL-адреса в текстовом файле, доступном на вашем веб-сайте, по одному на строку, и ссылаться на него в robots.txt :

Sitemap: http://example.com/sitemap.txt 

Вот документация Google по этой теме: https://support.google.com/webmasters/answer/183668?hl=en