Хорошая стратегия для сжатия линии ориентированных входа на стандартный ввод

Question

У меня есть очень большой текстовый файл данных: несколько миллиардов строк, которые в основном в форме:

On tick 112 total blocks 120 

Простой скрипт Perl превращает это в значений, разделенных запятыми то есть, в данном случае:

112,120 

я хотел бы сжать вывод Perl на лету, но очевидные подходы например

perl myscript.pl myinputfile.txt | bzip2 > compressedoutput.bz2 

вообще не сжимают выход (предположительно потому, что это невозможно сделать по одной линии за раз?)

Есть ли способ обойти это? Очевидно, я могу сгенерировать выходной файл, а затем сжать его, но мне интересно, есть ли один способ командной строки для получения хороших результатов?

Answer 1

Не имеет значения, как записи выполняются с трубой. Байты сжимаются одинаково на другом конце трубы независимо от того, что.

Если вы правильно описали свои данные, состоящие только из десятичных цифр, запятых и новых строк, то это обязательно должно сжиматься более чем в два раза.

Что именно вы видите?

Кстати, вы можете и должны далее кодировать десятичные целые числа в двоичные целые числа.