2
Я хотел бы создать список URL-адресов для домена, но я бы предпочел сохранить пропускную способность, не сканировав сам домен. Итак, есть ли способ использовать существующие обходные данные?Как получить список URL-адресов для домена
Одним из решений, которое я думал, было бы сделать Yahoo site search, что позволяет загружать первые 1000 результатов в формате TSV. Однако, чтобы получить все записи, мне пришлось бы очистить результаты поиска. Google также поддерживает поиск по сайту, но не предлагает простой способ загрузить данные.
Можете ли вы подумать о лучшем способе работы с большинством (если не всех) веб-сайтов?
спасибо, Richard
К сожалению, большинство сайтов, на которые я смотрел, не используют их. Я надеюсь использовать результаты другого искателя вместо того, чтобы снова сканировать. – hoju
Я должен не согласиться с тем, что существует хотя бы одно общее решение, которое я объяснил, используя результаты сканирования из поисковой системы. Это делается с использованием сайта: foo.org. – hoju
Ричард, поисковые системы не индексируют каждый домен, и их списки не содержат каждую страницу в доменах, которые они индексируют. Вот почему сайт: foo.org не является общим решением. –