Как получить все комментарии пользователей с сайта?

Question

Я хочу, чтобы все пользовательские комментарии с этого сайта: http://www.consumercomplaints.in/?search=chevrolet

Проблема в том, что комментарии просто отображаются частично, и чтобы увидеть полный комментарий, я должен нажать на заголовок над ним, и этот процесс должен быть повторен для всех комментариев.

Другая проблема заключается в том, что существует много страниц комментариев.

Поэтому я хочу сохранить все полные комментарии на листе excel с указанного выше сайта. Возможно ли это? Я подумываю использовать crawler4j и jericho вместе с Eclipse.

Моего код для метода visitPage:. @Override общественных недействительного посещения (страница Page) {
Строки URL = page.getWebURL() GetURL(); System.out.println ("URL:" + url);

  if (page.getParseData() instanceof HtmlParseData) { 
        HtmlParseData htmlParseData = (HtmlParseData) page.getParseData(); 

        String html = htmlParseData.getHtml(); 

    //    Set<WebURL> links = htmlParseData.getOutgoingUrls(); 
    //    String text = htmlParseData.getText(); 

        try 
        { 
         String CrawlerOutputPath = "/DA Project/HTML Source/"; 
         File outputfile = new File(CrawlerOutputPath); 

         //If file doesnt exists, then create it 
         if(!outputfile.exists()){ 
          outputfile.createNewFile(); 
         } 

         FileWriter fw = new FileWriter(outputfile,true); //true = append file 
         BufferedWriter bufferWritter = new BufferedWriter(fw); 
         bufferWritter.write(html); 
         bufferWritter.close(); 
         fw.write(html); 
         fw.close(); 

        }catch(IOException e) 
        { 
         System.out.println("IOException : " + e.getMessage()); 
         e.printStackTrace(); 
        } 

        System.out.println("Html length: " + html.length()); 
      } 
    } 

Заранее благодарен. Любая помощь будет оценена по достоинству.

Answer 1

Да, это возможно.

• Начало ползать на вашем поисковом сайте (http://www.consumercomplaints.in/?search=chevrolet)
• Используйте метод visitPage из crawler4j только следовать комментарии и текущие страницы.
• Возьмите HTML Содержания от crawler4j и засунуть его в Иерихон
• отфильтровать содержимое, которое необходимо сохранить и записать ее в какой-то .csv или файл .xls (я предпочел бы .csv)

Надеюсь, это вам поможет