Как подсчитать количество строк в большом CSV-файле с помощью Perl?

Question

Мне нужно использовать Perl в среде Windows на работе, и мне нужно узнать количество строк, которые содержит большой файл csv (около 1.4Gb). Любая идея, как это сделать с минимальной потерей ресурсов?

Благодаря

PS Это должно быть сделано в сценарии Perl, и мы не разрешается устанавливать какие-либо новые модули в систему.

Answer 1

Да, не используйте perl.

Вместо этого используйте простую утилиту для подсчета линий; wc.exe

Это часть набора окна утилиты перенесенных из Unix оригиналов.

http://unxutils.sourceforge.net/

Например;

PS D:\> wc test.pl 
    12  26  271 test.pl 
PS D:\> 

Где 12 == количество строк, 26 == количество слов, 271 == количество символов.

Если вам действительно нужно использовать perl;

D:\>perl -lne "END{print $.;}" < test.pl 
12 

Answer 2

Вы имеете в виду линии или строки? Ячейка может содержать разрывы строк, которые добавили бы строки в файл, но не строки. Если вам гарантировано, что никакие ячейки не содержат новые строки, просто используйте эту технику в Perl FAQ. В противном случае вам понадобится правильный синтаксический анализатор CSV, например Text::xSV.

Answer 3

perl -lne "END { print $. }" myfile.csv 

Это только чтение по одной строке за раз, поэтому оно не теряет память, если каждая строка не очень длинная.

Answer 4

Упрощение для ответа edg, другой вариант - установить cygwin, чтобы получить wc и кучу других полезных утилит в Windows.

Answer 5

Это один вкладыш обрабатывает новые строки в пределах строк:

1. УЧИТЫВАЯ линию с нечетным количеством цитат.
2. Учитывая, что двойные кавычки являются способом указания котировок в поле.

3. У этого пользователя есть awesome флип-флоп оператор.

   perl -ne 'BEGIN{$re=qr/^[^"]*(?:"[^"]*"[^"]*)*?"[^"]*$/;}END{print"Count: $t\n";}$t++ unless /$re/../$re/' 
   

Рассмотрим:

• wc не будет работать. Это потрясающе для подсчета строк, но не для строк CSV.
• Вы должны установить - или бороться за установку - Text::CSV или какой-либо аналогичный стандартный пакет для правильной обработки.
• Это может привести вас туда, тем не менее.

---

EDIT: Он запамятовал, что это окна:

perl -ne "BEGIN{$re=qr/^[^\"]*(?:\"[^\"]*\"[^\"]*)*?\"[^\"]*$/;}END{print qq/Count: $t\n/;};$t++ unless $pq and $pq = /$re/../$re/;" 

Странная вещь в том, что сломанную OS «оболочка интерпретирует && как условную Exec OS, и я не мог» не делай ничего, чтобы передумать! Если бы я сбежал от него, он просто передал бы это так, чтобы перл.

Answer 6

я был идиотским, простой способ сделать это в скрипте:

open $extract, "<${extractFileName}" or die ("Cannot read row count of $extractFileName"); 
$rowCount=0;  
while (<$extract>) 
{ 
    $rowCount=$rowCount+1; 
} 

close($extract);