Я хочу создать публичную информацию с моего сайта. мой сайт защищен аутентификацией, но часть информации о пользователе может быть передана по адресу URL http://example.com/public/user. Создание страниц для пользователя 10k + и использование звуков robot.txt действительно интенсивны. Есть ли способ, которым можно сканировать динамический контент?Как включить сканирование для динамических страниц?
Для справочных сайтов, таких как facebook и linkedin, делают то же самое. но пространство может быть реальной проблемой здесь! В частности, я ищу конфигурацию веб-сервера, которая поможет сканеру извлекать страницы.
Я читал другие ответы на ту же тему, в этом случае у меня есть сайт и я хочу, чтобы позволить роботам указательным специально открытой части
Просто создайте [sitemap.xml] (https://www.sitemaps.org/protocol.html), который является актуальным и указывает на все соответствующие записи. Там нет ничего особенного (но этот бит вам нужно будет сделать - вам нужно будет сделать достаточно места для этого.) –
@Pekka 웃 Если у моего sitemap.xml есть url example.com/public/user, то в этом списке все страницы говорят для пользователя mahesh. идет с одинаковым URL-адресом и архитектурой REST-ful через угловые и т. д., поэтому на самом деле у меня нет статической/динамической страницы, например example.com/public/user/mahesh. Исправьте меня, если я ошибаюсь, но похоже, что карта сайта не будет полной. –
Я не понимаю, особенно немного о Restful architecture. Можете ли вы привести пример определенного URL-адреса, который вы хотите проиндексировать? –