Как сделать JTIdy для корректного формирования HTML-документов?

Question

Я использую JTidy v. R938. Я использую этот код, чтобы попытаться очистить страницу ...

final Tidy tidy = new Tidy(); 
tidy.setQuiet(false); 
tidy.setShowWarnings(true); 
tidy.setShowErrors(0); 
tidy.setMakeClean(true); 
Document document = tidy.parseDOM(conn.getInputStream(), null); 

Но когда я анализирую этот URL - http://www.chicagoreader.com/chicago/EventSearch?narrowByDate=This+Week&eventCategory=93922&keywords=&page=1, вещи не получают очищены. Например, мета-теги на странице, как

<META http-equiv="Content-Type" content="text/html; charset=UTF-8"> 

остаются

<META http-equiv="Content-Type" content="text/html; charset=UTF-8"> 

вместо того, чтобы иметь "</META >" тег или появляясь как "< META HTTP-эквив =" Content -Type "content =" text/html; charset = UTF-8 "/ >". Я подтверждаю это, выведя полученный JTidy org.w3c.dom.Document как String.

Что я могу сделать, чтобы JTidy действительно очистил страницу - т. Е. Сделал ее хорошо сформированной? Я понимаю, что есть другие инструменты, но этот вопрос конкретно связан с использованием JTIdy.

Answer 1

Вам необходимо указать несколько флагов в Tidy, если вы хотите XML формат

private String cleanData(String data) throws UnsupportedEncodingException { 
    Tidy tidy = new Tidy(); 
    tidy.setInputEncoding("UTF-8"); 
    tidy.setOutputEncoding("UTF-8"); 
    tidy.setWraplen(Integer.MAX_VALUE); 
    tidy.setPrintBodyOnly(true); 
    tidy.setXmlOut(true); 
    tidy.setSmartIndent(true); 
    ByteArrayInputStream inputStream = new ByteArrayInputStream(data.getBytes("UTF-8")); 
    ByteArrayOutputStream outputStream = new ByteArrayOutputStream(); 
    tidy.parseDOM(inputStream, outputStream); 
    return outputStream.toString("UTF-8"); 
} 

Или просто, если хотите XHTML форму

Tidy tidy = new Tidy(); 
tidy.setXHTML(true); 

Answer 2

использование tidy.setXmlTags (истина); для анализа XML вместо HTML

Answer 3

Используйте Tidy.setForceOutput(true) (на свой страх и риск) для генерации вывода, даже если обнаружены ошибки.

Answer 4

я анализирую в HTML 2 раза, чтобы получить хорошо сформирован XML

BufferedReader br = new BufferedReader(new StringReader(str)); 
    StringWriter sw = new StringWriter(); 

    Tidy t = new Tidy(); 
    t.setDropEmptyParas(true); 
    t.setShowWarnings(false); //to hide errors 
    t.setQuiet(true); //to hide warning 
    t.setUpperCaseAttrs(false); 
    t.setUpperCaseTags(false); 
    t.parse(br,sw); 
    StringBuffer sb = sw.getBuffer(); 
    String strClean = sb.toString(); 
    br.close(); 
    sw.close(); 

    //do another round of tidyness 
    br = new BufferedReader(new StringReader(strClean)); 
    sw = new StringWriter(); 

    t = new Tidy(); 
    t.setXmlTags(true); 
    t.parse(br,sw); 
    sb = sw.getBuffer(); 
    String strClean2 = sb.toString(); 
    br.close(); 
    sw.close();