Python + Expat: Ошибка на � лиц

Question

я написал небольшую функцию, которая использует ElementTree и XPath для извлечения текстового содержимого определенных элементов в файле XML:

#!/usr/bin/env python2.5 

import doctest 
from xml.etree import ElementTree 
from StringIO import StringIO 

def parse_xml_etree(sin, xpath): 
    """ 
Takes as input a stream containing XML and an XPath expression. 
Applies the XPath expression to the XML and returns a generator 
yielding the text contents of each element returned. 

>>> parse_xml_etree(
... StringIO('<test><elem1>one</elem1><elem2>two</elem2></test>'), 
... '//elem1').next() 
'one' 
>>> parse_xml_etree(
... StringIO('<test><elem1>one</elem1><elem2>two</elem2></test>'), 
... '//elem2').next() 
'two' 
>>> parse_xml_etree(
... StringIO('<test><null>&#0;</null><elem3>three</elem3></test>'), 
... '//elem2').next() 
'three' 
""" 

    tree = ElementTree.parse(sin) 
    for element in tree.findall(xpath): 
    yield element.text 

if __name__ == '__main__': 
    doctest.testmod(verbose=True) 

Третье испытание терпит неудачу со следующим исключение:

ExpatError: ссылка на недействительный номер символа: строка 1, столбец 13

ли � организации незаконной XML? Независимо от того, является это или нет, файлы, которые я хочу проанализировать, содержат его, и мне нужно каким-то образом их проанализировать. Любые предложения для другого парсера, чем Expat, или настройки для Expat, которые позволили бы мне это сделать?

---

Обновление: Я обнаружил BeautifulSoup только сейчас, а тег суп анализатор, как указано ниже в ответ комментарии, и для удовольствия я вернулся к этой проблеме и попытался использовать его в качестве XML-уборщика перед ElementTree , но он покорно преобразовал � в байт с нулевым недопустимым значением. :-)

cleaned_s = StringIO(
    BeautifulStoneSoup('<test><null>&#0;</null><elem3>three</elem3></test>', 
        convertEntities=BeautifulStoneSoup.XML_ENTITIES 
).renderContents() 
) 
tree = ElementTree.parse(cleaned_s) 

... дает

xml.parsers.expat.ExpatError: not well-formed (invalid token): line 1, column 12 

В моем конкретном случае, хотя я на самом деле не нужен XPath синтаксический как таковой, я мог бы с самого BeautifulSoup и его довольно просто узловой адресный стиль parsed_tree.test.elem1.contents[0].

Answer 1

� не находится в legal character range, определенном спецификацией XML. Увы, мои навыки Python довольно рудиментарны, так что я не очень им помог.

Answer 2

� не является действительным символом XML. В идеале вы сможете заставить создателя файла изменить свой процесс, чтобы файл был недействителен, как этот.

Если вы хотите принять эти файлы, вы можете предварительно обработать их, чтобы превратить &#0 во что-то другое. Например, выберите @ в качестве escape-символа, превратите «@» в «@@» и «�» в «@ 0».

Затем, когда вы получаете текстовые данные из анализатора, вы можете отменить отображение. Это просто пример, вы можете придумать любой синтаксис escaping, который вам нравится.