Получить внутренний текст сайта без веб-браузера

Question

Я хочу получить внутренний текст сайта через код.

Я уже могу получить его внутренний html с кодом ниже, но я не могу найти код, который получает внутренний текст URL без webbrowser.

Этот код получает текст с веб-сайта в webbrowser, но мне нужно то же самое, просто без веб-браузера.

Dim sourceString As String = WebBrowser1.Document.Body.InnerText 

Answer 1

** Взято из ** Wolfwyrd

В этом вопросеHTTP GET in VB.NET

Try 
Dim fr As System.Net.HttpWebRequest 
Dim targetURI As New Uri("http://whatever.you.want.to.get/file.html")   

fr = DirectCast(HttpWebRequest.Create(targetURI), System.Net.HttpWebRequest) 
If (fr.GetResponse().ContentLength > 0) Then 
    Dim str As New System.IO.StreamReader(fr.GetResponse().GetResponseStream()) 
    Response.Write(str.ReadToEnd()) 
    str.Close(); 
End If 

Поймайте экс Как Ошибка System.Net.WebException »в доступе к ресурсу, обрабатывать его Завершить запрос

Вы получите Html, а также заголовки http. Не думайте, что это будет работать само по себе с https.

Answer 2

С HtmlAgilityPack ...

Private Sub ToolStripButton1_Click(sender As Object, e As EventArgs) Handles ToolStripButton1.Click 
    Dim doc As HtmlAgilityPack.HtmlDocument = New HtmlAgilityPack.HtmlDocument 
    With New Net.WebClient 
     doc.LoadHtml(.DownloadString("https://example.com")) 
     .Dispose() 
    End With 

    Debug.Print(doc.DocumentNode.Name) 
    PrintChildNodes(doc.DocumentNode) 

    Debug.Print(doc.DocumentNode.Element("html").Element("body").InnerText) 
End Sub 

Sub PrintChildNodes(Node As HtmlAgilityPack.HtmlNode, Optional Indent As Integer = 1) 
    For Each Child As HtmlAgilityPack.HtmlNode In Node.ChildNodes 
     Debug.Print("{0}{1}", String.Empty.PadLeft(Indent, vbTab), Child.Name) 
     PrintChildNodes(Child, Indent + 1) 
    Next 
End Sub