Получить HTML-страницу с помощью htmlunit

Question

Я пытаюсь получить HTML-страницу веб-сайта (ex http://htmlunit.sourceforge.net), но я получаю сообщение об ошибке IlleagalArgumentException: не удается найти объявленный класс поля org.apache.http.impl.client.HttpClientBuilder.dnsResolver , Мой код выглядит следующим образом:

public class Main1 { 
    public static void main(String[] args) { 
      try { 
       homePage(); 
      } catch (Exception e) { 
       // TODO Auto-generated catch block 
       e.printStackTrace(); 
      } 
     } 

    public static void homePage() throws Exception { 
      try (final WebClient webClient = new WebClient()) { 
       final HtmlPage page = webClient.getPage("http://www.google.com"); 
       String text = page.asText(); 
       System.out.println(text); 
      } 
     } 
    } 

С кодом что-то не так? Спасибо

Answer 1

Вы можете использовать jsoup parser.

Маленький пример кода

Document doc = Jsoup.connect("http://en.wikipedia.org/").get(); 
Elements newsHeadlines = doc.select("#mp-itn b a"); 

Расширенный Использование

File input = new File("/tmp/input.html"); 
Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/"); 

Element content = doc.getElementById("content"); 
Elements links = content.getElementsByTag("a"); 
for (Element link : links) { 
    String linkHref = link.attr("href"); 
    String linkText = link.text(); 
} 

Полезные адреса

• Dom Navigation
• Extracting
• Working with URLs