Как объединить огромное количество небольших файлов в один файл

Question

У меня около 1,5 миллионов небольших файлов общим размером около 80 ГБ.

Я хочу объединить эти файлы в один файл, чтобы быстро копировать. Я пытался архивировать их в почтовый файл и читать файлы с этим кодом:

ZipFile zip = ZipFile.Read(Settings.Default.DataPath); 
ZipEntry entery = zip[MyFile]; 

Идея сработала, но это слишком медленно, она занимает около 30 секунд, чтобы загрузить один файл.

Есть ли еще более быстрая идея объединить файлы?

Благодаря

Answer 1

Один из способов заключается в использовании SQLite (вы можете добавить его через пакет NuGet) и создать файл базы данных, который содержит все эти отдельные биты данных.

Вы бы создать таблицу, которая содержит все файлы и сделать имя файла первичный ключ, который будет автоматически создавать индекс на нем:

CREATE TABLE files 
(
    filename TEXT NOT NULL PRIMARY KEY, 
    content BLOB 
) 

Вы бы затем вставить все файлы в нем, одна строка за файл.

Чтобы получить его, вы должны выполнить SQL так:

SELECT content FROM files WHERE filename = ? 

Я бы инкапсулировать все это в новый класс, чтобы вы отделить функциональность сохранения и использования этого файла от остальной части вашего заявление.