Самый эффективный способ тестирования ссылок

Question

В настоящее время я разрабатываю приложение, которое просматривает все файлы на сервере и проверяет каждый hrefs, чтобы проверить, действительны они или нет. Использование WebClient или HttpWebRequest/HttpWebResponse вызывает излишнюю перегрузку процесса, потому что он загружает всю страницу каждый раз, что бесполезно, мне нужно только проверить, не возвращается ли ссылка 404.

Что было бы самым эффективным способом ? Socket, кажется, хороший способ сделать это, однако я не совсем уверен, как это работает.

Спасибо, что поделились своим опытом!

Answer 1

Наиболее эффективным было бы отправить глагол HEAD, чтобы сохранить пропускную способность.

var request = WebRequest.Create("http://google.com/"); 
request.Method = "HEAD"; 
using (var response = (HttpWebResponse)request.GetResponse()) 
{ 
    if (response.StatusCode == HttpStatusCode.OK) 
    { 
     // 200 OK 
    } 
} 

Answer 2

Набор HttpWebRequest.Method к "Head". Это получит только заголовки.