Какая структура данных C# должна содержать содержимое blob для оптимальной линейной обработки?

Question

В функции Azure вы можете использовать триггер blob. Этот триггер может быть bound to a variety of data structures:

• TextReader (вход только)
• поток
• ICloudBlob
• CloudBlockBlob
• CloudPageBlob

При работе с журналом, т.е. данные данных, которые вы хотите обработать каждая строка, какая структура должна использоваться для минимизации времени вычисления и использования памяти?

---

Это текущий процесс, который я использую, и он не чувствует себя очень элегантно. Может не быть релевантным, но целью является сериализация данных в JSON и размещение в очереди или documentDB.

public static void insertBlob([BlobTrigger] TextReader logBlob, TraceWriter log) 
     { 
      string[] text = logBlob.ReadToEnd().Split('\n'); 
      // Do some stuff 
      log.Info(text.Count().ToString()); 
} 

Answer 1

С точки зрения производительности использование потока было бы лучше, поскольку это уменьшило бы давление памяти/время загрузки.

С точки зрения алгоритмического подхода вы не будете намного лучше, чем просто хранить буфер и обрабатывать линию, когда увидите символ '\n'. Если вы не слишком беспокоитесь о производительности и т. Д., Я могу использовать то, что у вас есть, потому что это довольно просто. В любом случае функции будут горизонтально масштабироваться.