XML-расщепление BIG-файла с использованием Java

Question

Я пытаюсь создать java-программу, которая разбивает выбранный файл XML.

XML выборка данных файла:

<EmployeeDetails> 
<Employee> 
<FirstName>Ben</FirstName> 
</Employee> 
<Employee> 
<FirstName>George</FirstName> 
</Employee> 
<Employee> 
<FirstName>Cling</FirstName> 
</Employee> 
<EmployeeDetails> 

И так, у меня есть этот 250Mb XML файл муравей всегда боль в заднице, чтобы открыть его внешнюю программу и вручную разбить его, чтобы иметь возможность быть читаемыми с другие (не все ноутбук/настольный компьютер может открыть такой большой файл). Поэтому я решил создать программу Java, которая будет иметь эту функцию: -Выберите файл XML (уже сделано) -Split-файл на основе # тегов, например. (В текущем файле есть 100 тыс. Тегов. Я спрошу пользователя программы о том, как Сотрудник, которого он/она хочет для разбитого файла (например, 10k на файл) -Split файл (уже сделано)

Я просто хочу попросить о помощи, как я могу выполнить вторую задачу, уже в 3 -4 дня проверяя, как же я могу это сделать, или это даже возможно (на мой взгляд, конечно, есть).

Любой ответ будет оценен.

Приветствия, Grimm.

Answer 1

Простое решение на заказ. Если XML всегда имеет эти разрывы строк, как показано, обработка XML не требуется.

Path originalPath = Paths.get("... .xml"); 
try (BufferedReader in = Files.newBufferedReader(originalPath, StandardCharsets.UTF_8)) { 
    String line = in.readLine(); // Skip header line(s) 

    line = in.readLine(); 
    for (int fileno; line != null && !line.contains("</EmployeeDetails>"); ++fileno) { 
     Path partPath = Paths.get("...-" + fileno + ".xml"); 
     try (PrintWriter out = new PrintWriter(Files.newBufferedWriter(partPath, 
       StandardCharsets.UTF_8))) { 
      int counter = 0; 
      out.println("<EmployeeDetails>"); // Write header. 
      do { 
       out.println(line); 
       if (line.contains("</Employee>") { 
        ++counter; 
       } 
       line = in.readLine(); 
      } while (line != null && !line.contains("</EmployeeDetails>") 
        && counter < 1000); 
      out.println("</EmployeeDetails>"); 
     } 
    } 
} 

Answer 2

Предполагая плоскую структуру, в которой корневой элемент документа R имеет большое количество детей с именем X, следующее преобразование XSLT 2.0 будет разбивать файл на каждый элемент Nth X.

<t:transform xmlns:t="http://www.w3.org/1999/XSL/Transform" 
    version="2.0"> 
    <t:param name="N" select="100"/> 
    <t:template match="/*"> 
    <t:for-each-group select="X" 
         group-adjacent="(position()-1) idiv $N"> 
     <t:result-document href="{position()}.xml"> 
     <R> 
      <t:copy-of select="current-group()"/> 
     </R> 
     </t:result-document> 
    </t:for-each-group> 
    </t:template> 
</t:transform> 

Если вы хотите запустить это в потоковом режиме (без создания исходного дерева в памяти), то (а) добавить <xsl:mode streamable="yes"/>, и (б) запустить его с помощью XSLT 3.0 процессора (Saxon-EE или Exselt).