Каков наиболее эффективный способ извлечения информации из большого количества xml-файлов в python?

Question

У меня есть полный каталог (~ 10 , 10) файлов XML, из которых мне нужно извлечь содержимое нескольких полей. Я тестировал разные синтаксические анализаторы xml, и поскольку мне не нужно проверять содержимое (дорого), я думал просто использовать xml.parsers.expat (самый быстрый) для прохождения файлов, один за другим, чтобы извлечь данные.

1. Есть ли более эффективный способ? (простое совпадение текста не работает)
2. Нужно ли мне создавать новый ParserCreate() для каждого нового файла (или строки) или я могу повторно использовать его для каждого файла?
3. Какие-либо оговорки?

Спасибо!

Answer 1

Самый быстрый способ состоял бы в том, чтобы сопоставлять строки (например, с регулярными выражениями) вместо синтаксического анализа XML - в зависимости от ваших XML-данных это может действительно работать.

Но самое главное: вместо того, чтобы продумать несколько вариантов, просто реализуйте их и нарисуйте их на небольшом наборе. Это займет примерно столько же времени, и даст вам реальные цифры, которые будут двигаться вперед.

EDIT:

• ли файлы на диске или сетевом диске локального? Сетевой ввод-вывод убьет вас здесь.
• Проблема распараллеливается тривиально: вы можете разделить работу между несколькими компьютерами (или несколькими процессами на многоядерном компьютере).

Answer 2

Если вы знаете, что XML-файлы сгенерированы с использованием одного и того же алгоритма, возможно, было бы более эффективно вообще не выполнять синтаксический анализ XML. Например. если вы знаете, что данные находятся в строках 3, 4 и 5, вы можете прочитать файл по очереди, а затем использовать регулярные выражения.

Конечно, этот подход потерпит неудачу, если файлы не сгенерированы машиной или происходят из разных генераторов, или если генератор изменяется со временем. Тем не менее, я оптимист, что будет быть более эффективным.

Независимо от того, перерабатываете ли вы парсерные объекты, в значительной степени неактуальны. Будет создано еще много объектов, поэтому единственный объект парсера на самом деле не очень много.

Answer 3

Одна вещь, о которой вы не указали, - это то, читаете ли вы XML в DOM. Я предполагаю, что вы, вероятно, нет, но, если это случится, не делайте этого. Вместо этого используйте xml.sax. Использование SAX вместо DOM даст вам значительное повышение производительности.

Answer 4

Обычно я предлагаю использовать ElementTree iterparse или для сверхскоростной скорости, его аналог от lxml. Также попробуйте использовать Processing (поставляется с 2.6) для распараллеливания.

Важная вещь в отношении iterparse состоит в том, что вы получаете элементы (суб-) структур по мере их анализа.

import xml.etree.cElementTree as ET 
xml_it = ET.iterparse("some.xml") 
event, elem = xml_it.next() 

event всегда будет строка "end" в этом случае, но вы также можете инициализировать парсер также рассказать о новых элементах, как они обрабатываются. У вас нет гарантии, что все элементы-элементы будут проанализированы в этот момент, но атрибуты есть, если вас это интересует.

Еще один момент заключается в том, что вы можете прекратить чтение элементов с итератора раньше, то есть до того, как весь документ будет обработан.

Если файлы большие (являются ли они?), Существует общая идиома, позволяющая сохранить постоянное использование памяти так же, как в потоковом синтаксическом анализаторе.