Почему пропускная способность этого приложения для обработки данных C# намного ниже, чем необработанные возможности сервера?

Question

Я собрал небольшой тестовый жгут для диагностики того, почему пропускная способность моего приложения обработки данных C# (его основная функция выбирает записи в партиях 100 с удаленного сервера базы данных с использованием неблокирующего IO и выполняет простую обработку на них) ниже, чем это могло бы быть. Я заметил, что во время работы приложение не сталкивается с узкими местами на пути CPU (< 3%), сетевым или дисковым IO или оперативной памятью и не подчеркивает сервер базы данных (набор данных в базе данных почти всегда полностью ОЗУ). Если я запускаю несколько экземпляров приложения параллельно, я могу получить до ~ 45 экземпляров с только 10% -ной деградацией задержек, но с 45-кратным увеличением пропускной способности, прежде чем загрузка процессора на сервере базы данных станет узким местом (на тот момент, там до сих пор нет узких мест в ресурсах на клиенте).

Мой вопрос: почему TPL не увеличивает количество задач в полете или иным образом увеличивает пропускную способность, когда клиентский сервер способен существенно повысить пропускную способность?

Упрощенный фрагмент кода:

public static async Task ProcessRecordsAsync() 
    { 
     int max = 10000; 
     var s = new Stopwatch(); 
     s.Start(); 
     Parallel.For(0, max, async x => 
     { 
      await ProcessFunc(); 
     }); 
     s.Stop(); 
     Console.WriteLine("{2} Selects completed in {0} ms ({1} per ms).", s.ElapsedMilliseconds, ((float)s.ElapsedMilliseconds)/max, max); 
    } 

    public static async Task ProcessFunc() 
    { 
     string sql = "select top 100 MyTestColumn from MyTestTable order by MyTestColumn desc;"; 
     string connStr = "<blah>..."; 

     using (SqlConnection conn = new SqlConnection(connStr)) 
     { 
      try 
      { 
       conn.Open(); 
       SqlCommand cmd = new SqlCommand(sql, conn); 
       DbDataReader rdr = await cmd.ExecuteReaderAsync(); 

       while (rdr.Read()) 
       { 
        // do simple processing here 
       } 
       rdr.Close(); 
      } 
      catch (Exception ex) 
      { 
       Console.WriteLine(ex.ToString()); 
      } 
     } 
    } 

Answer 1

Parallel For не пытается задушить жизнь вашего процессора и максимизировать количество одновременных потоков, работающих на вас. Он использует количество ядер в качестве отправной точки и может увеличиваться в зависимости от характера рабочей нагрузки. См. this question.

Как это происходит, вы на самом деле do имеют блокировку IO ... при открытии строк подключения и чтения. Вы можете попробовать это вместо этого:

//.... 
using (var conn = new SqlConnection(connStr)) 
{ 
    await conn.OpenAsync(); 
    SqlCommand cmd = new SqlCommand(sql, conn); 
    try 
    { 
    using (var rdr = await cmd.ExecuteReaderAsync()) 
    { 
     while (await rdr.ReadAsync()) 
     { 
     // do simple processing here 
     } 
    } 
    } 
    catch (Exception ex) 
    { 
    Console.WriteLine(ex.ToString()); 
    } 
} 
//... 

Answer 2

Ваш пример может быть ограничено быть максимальным числом pooled SQL Connections в приложении, которое является 100 по умолчанию. Это может объяснить, почему вы получаете большую пропускную способность при запуске нескольких экземпляров приложения. Вы можете попытаться контролировать количество подключений на SQL-сервере, чтобы убедиться, что это так.