Большая таблица данных для нескольких файлов csv определенного размера в .net

Question

У меня есть одна большая таблица данных из нескольких миллионов записей. Мне нужно экспортировать это в несколько CSV-файлов определенного размера. Так, например, я выбираю размер файла 5 МБ, и когда я говорю об экспорте, Datatable будет экспортироваться в 4 файла CSV размером 5 МБ, а последний размер файла может отличаться в зависимости от оставшихся записей. Я рассмотрел множество решений здесь, а также посмотрел библиотеку csvhelper, но все, что связано с большими файлами, разделяется на несколько CSV, но не в таблице данных памяти, на несколько файлов CSV на основе указанного размера файла. Я хочу сделать это на C#. Любая помощь в этом направлении будет отличной.

Благодаря Jay

Answer 1

Спасибо @ H.G.Sandhagen и @jdweng для входов. В настоящее время я написал следующий код, который требует работы. Я знаю, что это не идеально, и некоторые улучшения могут быть сделаны и могут быть сделаны более эффективными, если мы сможем предварительно определить длину из массива элементов таблицы данных, как указано Nick.McDermaid. На данный момент я перейду с этим кодом, чтобы разблокировать себя и опубликую окончательную оптимизированную версию, когда я ее закодировал.

public void WriteToCsv(DataTable table, string path, int size) 
     { 
      int fileNumber = 0; 
      StreamWriter sw = new StreamWriter(string.Format(path, fileNumber), false); 
      //headers 
      for (int i = 0; i < table.Columns.Count; i++) 
      { 
       sw.Write(table.Columns[i]); 
       if (i < table.Columns.Count - 1) 
       { 
        sw.Write(","); 
       } 
      } 
      sw.Write(sw.NewLine); 

      foreach (DataRow row in table.AsEnumerable()) 
      { 
       sw.WriteLine(string.Join(",", row.ItemArray.Select(x => x.ToString()))); 
       if (sw.BaseStream.Length > size) // Time to create new file! 
       { 
        sw.Close(); 
        sw.Dispose(); 
        fileNumber ++; 
        sw = new StreamWriter(string.Format(path, fileNumber), false); 
       } 
      } 

      sw.Close(); 
     }