Редактировать очень большой sql dump/text file (on linux)

Question

Мне нужно импортировать большой дамп mysql (до 10G). Однако дамп sql уже предопределен структурой базы данных с определением индекса. Я хочу ускорить вставку db, удалив определение индекса и таблицы.

Это означает, что я должен удалять/редактировать первые несколько строк текстового файла 10G. Каков наиболее эффективный способ сделать это на linux?

Программы, требующие загрузки всего файла в ОЗУ, будут для меня излишними.

Answer 1

Вместо удаление первых нескольких строк, попробуйте отредактировать их как пробелы.

Программа hexedit может это сделать - она ​​читает файлы в кусках, поэтому открытие файла размером 10 ГБ не отличается от открытия файла 100 КБ.

$ hexedit largefile.sql.dump 
tab (switch to ASCII side) 
space (repeat as needed until your header is gone) 
F2 (save)/Ctrl-X (save and exit)/Ctrl-C (exit without saving) 

Answer 2

Perl может прочитать файл построчно:

Perl -pi.bak -e 's/^ создать индекс/- создать индекс /'

Answer 3

joe является редактором, который работает хорошо с большими файлами. Я просто использовал его для редактирования файла дампа ~ 5G SQL. Потребовалось около минуты, чтобы открыть файл и несколько минут, чтобы сохранить его, с очень небольшим использованием swap (в системе с 4G RAM).

Answer 4

sed 's/OLD_TEXT/NEW_TEXT/g' <oldfile> newfile 

или

cat file | sed 's/OLD_TEXT/NEW_TEXT/g' > newfile