Разделение файла резко увеличивает его размер.

Question

Я разбиваю 4-х гигабайтный файл данных из Викисловаря XML на небольшие файлы, не накладываясь, обрабатывая его с помощью Python и сохраняя отдельные страницы (...).

Такая же информация, разделенная на разные файлы, раздувается до 18+ ГБ.

Почему это может быть? И есть ли способ избежать этого?

import os 
import re 
import subprocess 

subprocess.call(['mkdir', 'WIKTIONARY_WORDS_DUMP']) 

# English Wiktionary (which noneless contains many foreign words!) 
f = open('enwiktionary-20151020-pages-articles.xml', 'r') 

page = False 
number = 1 
for i, l in enumerate(f): 

    if '<page>' in l: 
     word_file = open(os.path.join('WIKTIONARY_WORDS_DUMP', str(number)+'.xml'), 'a') 
     word_file.write(l) 
     page = True 
     number += 1 

    elif '</page>' in l: 
     word_file.write(l) 
     word_file.close() 
     page = False 

    elif page: 
     word_file.write(l) 


word_file.close() 
f.close() 

Answer 1

Являются ли меньшие файлы также сохраненными как XML с одинаковой иерархией тегов? Если это так, у вас обязательно будет повторение тегов.

т.е. если вы должны были разделить этот файл:

<root> 
    <item>abc</item> 
    <item>def</item> 
    <item>ghi</item> 
</root> 

на три отдельных файла:

<root> 
    <item>abc</abc> 
</root> 

<root> 
    <item>def</abc> 
</root> 

<root> 
    <item>ghi</abc> 
</root> 

<root> тег повторяется в каждом меньший размер файла.

Это становится хуже, если ваша схема данных является более сложным:

<root> 
    <level1> 
     <level2> 
      <level3> 
       <item>abc</item> 
      </level3> 
     </level2> 
    </level1> 
</root>