2
Вот несколько строк агента пользователя-паука, которые я видел недавно. Все они, похоже, содержат URL-адрес с префиксом +:Все пауки должны использовать + http в своей строке пользовательского агента?
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mozilla/5.0 (compatible; meanpathbot/1.0; +http://www.meanpath.com/meanpathbot.html)
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Это просто соглашение, которое придерживается большинство пауков? Или это указано где-то. Я не мог найти его.
Я бы не назвал это «URL с префиксом + http:», я бы назвал это «URL с префиксом +». –
Хорошая точка. Я изменил описание. – bvs