Base64 кодирование линии за строкой более быстрый способ

Question

У меня есть большой текстовый файл (около 10 ГБ), который подходит без проблем в памяти. Моя цель - преобразовать каждую строку в строку base64. В настоящее время мой метод берет навсегда и, кажется, не завершается, потому что он однопоточный.

while read line; do echo -n -i $line | base64 >> outputfile.txt; done < inputfile.txt 

Может кто-нибудь дать мне подсказку, как это сделать быстрее? Это решение создает около 100 МБ в час (так что время финиширования составит 100 часов). Потребление процессора составляет 5%, а использование диска очень низкое.

Кажется, я получил missunderstood о контрольных символов ... Так я включал текстовый файл образца, и как результат должен быть (chepner верна с Chomp):

Пример ввода:

Банд`Эрос 
testè!?£$ 
`` 
▒``▒` 

Примера вывод:

user@monster ~ # head -n 5 bash-script-output.txt 
0JHQsNC90LRg0K3RgNC+0YE= 
dGVzdMOoIT/CoyQ= 
YGA= 
4paSYGDilpJg 

user@monster ~ # head -n 5 perl-without-chomp.txt 
0JHQsNC90LRg0K3RgNC+0YEK 
dGVzdMOoIT/CoyQK 
YGAK 
4paSYGDilpJgCg== 

user@monster ~ # head -n 5 perl-chomp.txt 
0JHQsNC90LRg0K3RgNC+0YE= 
dGVzdMOoIT/CoyQ= 
YGA= 
4paSYGDilpJg 

Так образцы каждый раз лучше, чем человеческие декларации; =)

Answer 1

Это может немного помочь, чтобы открыть выходной файл только один раз:

while IFS= read -r line; do echo -n $line | base64; done <inputfile.txt> outputfile.txt 

bash не хороший выбор здесь, однако, по двум причинам: итерация файл медленно, чтобы начать с, и вы начиная новый процесс для каждой линии. Лучше всего использовать язык, на котором есть библиотека для вычисления значений base64, так что все обрабатывается в одном процессе. Пример с использованием Perl

perl -MMIME::Base64 -ne 'print encode_base64($_)' inputfile.txt > outputfile.txt