Perl XML :: Twig. Гигантская обработка файлов. Как обрабатывать повторяющиеся enteries & enteries, которых нет

Question

У меня есть гигантский XML-файл (около 10 Гб), который мне нужно преобразовать в CSV. Теперь этот файл будет содержать информацию о многочисленных клиентах. Мне нужно преобразовать его в формат CSV. Проблема заключается в том, что у многих клиентов будут дополнительные поля, которые другие клиенты привыкли, и некоторые из полей будут повторяться. Пример XML является:

<customer> 
<customerID>1</customerID> 
    <auc> 
     <algoId>0</algoId> 
     <kdbId>1</kdbId> 
     <acsub>1</acsub> 
    </auc> 
</customer> 

<customer> 
<customerID>2</customerID> 
    <auc> 
     <algoId>0</algoId> 
     <kdbId>1</kdbId> 
     <acsub>1</acsub> 
     <extraBit>12345</extraBit> 
    </auc> 
    <auc> 
     <algoId>2</algoId> 
     <kdbId>3</kdbId> 
     <acsub>3</acsub> 
     <extraBit>67890</extraBit> 
    </auc> 
     <customOptions> 
      <odboc>0</odboc> 
    <odbic>0</odbic> 
    <odbr>1</odbr> 
    <odboprc>0</odboprc> 
    <odbssm>0</odbssm> 
</customOptions> 
</customer> 

Теперь, как вы можете видеть, первый клиент имеет только 1 АУК блок, но второй из них имеет 2, кроме того, он также имеет дополнительный тег в ППК, который extraBit. Теперь вопросы:

1. я должен обрабатывать один клиент одновременно (от одного клиента к/клиента, а затем так далее), а 10 Гб atonce приведет к краху системы.

2. Я пытаюсь использовать XML прутик в цикле, и когда я пытаюсь extraBit для Клиента 1, завершает программу «неопределенного значения»:

   печати $ на клиент> first_child («extraBit») - > текст()

   Невозможно вызвать метод «текст» на неопределенное значение в xml-tags.pl линии 50.

3. для дополнительных АУК для клиента Я хочу, чтобы выводиться в формате CSV файл как:

   клиентID, algoId, kdbId , Acsub, extraBit, algoId2, kdbId2, acsub2, extraBit2

   1,0,1,1 ,,,,,,

   2,0,1,1,1234,2,3,3,67890

Answer 1

print $customer->first_child('extraBit')->text() 

вы можете избежать неопределенной ошибки при использовании first_child_text вместо этого, который определяется возвращать пустую строку, если нет дочернего элемента соответствия не может быть найден.

print $customer->first_child_text('extraBit') 

Полный код будет нечто вроде

my $t= XML::Twig->new(
    twig_handlers => { customer => \&process_customer }); 
$t->parsefile('file.xml'); 

sub process_customer { 
    my ($t, $customer) = @_; 
    print $customer->first_child_text('customerID'); 
    foreach my $auc ($customer->children('auc')) { 
    print ',', $auc->first_child_text('algoId'), 
      ',', $auc->first_child_text('kdbId'), 
      ',', $auc->first_child_text('acsub'), 
      ',', $auc->first_child_text('extraBit'); 
    } 
    print "\n" 
    $customer->purge; 
}