У меня есть код для обработки нескольких миллионов строк данных в моем собственном R-подобном классе C# DataFrame. Существует несколько запросов Parallel.ForEach для параллельной итерации строк данных. Этот код работает более года, используя VS2013 и .NET 4.5 без проблем.Сбор мусора и Parallel.ForEach Проблема после VS2015 Обновление
У меня есть две dev-машины (A и B) и недавно обновленная машина A до VS2015. Я начал замечать странное прерывистое замораживание в моем коде примерно в половине случаев. Позволяя ему работать в течение длительного времени, оказывается, что код в конечном итоге заканчивается. Это займет всего 15-120 минут вместо 1-2 минут.
Попытки разбить все, используя отладчик VS2015, по какой-то причине не работают. Поэтому я вставил кучу операторов журнала. Оказывается, это замораживание происходит, когда есть коллекция Gen2 во время цикла Parallel.ForEach (сравнивая счетчик коллекции до и после каждого цикла Parallel.ForEach). Все дополнительные 13-118 минут тратятся внутри того, что Parallel.ForEach цикл звонит, случается, перекрываться с коллекцией Gen2 (если есть). Если нет коллекций Gen2 во время любых циклов Parallel.ForEach (около 50% времени, когда я запускаю его), то все заканчивается штрафом через 1-2 минуты.
Когда я запускаю тот же код в VS2013 на машине A, я получаю такие же зависания. Когда я запускаю код в VS2013 на машине B (который никогда не обновлялся), он работает отлично. Он провел десятки раз в ночное время без замораживания.
Некоторых вещей, которые я заметил/пробовал:
- замерзает случиться с или без отладчика прикрепленного на компьютер A (я понял, что это было что-то с VS2015 отладчиком на первом)
- замерзает происходят ли построить я в режиме отладки или Release
- замерзает, если я цель .NET 4.5 или .NET 4.6
- Я попытался отключить RyuJIT, но это не влияет на замерзает
Я вообще не изменяю настройки GC по умолчанию. Согласно GCSettings, все запуски происходят с LatencyMode Interactive и IsServerGC как false.
Я могу просто переключиться на LowLatency перед каждым вызовом Parallel.ForEach, но я бы предпочел понять, что происходит.
Кто-нибудь еще видел странные зависания в Parallel.ForEach после обновления VS2015? Любые идеи о том, какой был бы следующий следующий шаг?
UPDATE 1: Добавление некоторые примеры кода для туманного объяснения выше ...
Ниже приведен пример кода, который я надеюсь, продемонстрирует этот вопрос. Этот код работает через 10-12 секунд на машине B, последовательно. Он сталкивается с рядом коллекций Gen2, но у них почти нет времени. Если я раскомментирую две строки настроек GC, я могу заставить ее не иметь коллекций Gen2. Это несколько медленнее, чем через 30-50 секунд.
Теперь на моей машине код занимает произвольное количество времени. Кажется, от 5 до 30 минут. И, похоже, все хуже, чем больше коллекций Gen2, с которыми он сталкивается. Если я раскомментирую две линии настройки GC, она занимает 30-50 секунд и на машине А (так же, как на машине B).
Может потребоваться некоторое уточнение с точки зрения количества строк и размера массива, чтобы это отображалось на другой машине.
using System;
using System.Collections;
using System.Collections.Generic;
using System.IO;
using System.Diagnostics;
using System.Threading;
using System.Threading.Tasks;
using System.Linq;
using System.Runtime;
public class MyDataRow
{
public int Id { get; set; }
public double Value { get; set; }
public double DerivedValuesSum { get; set; }
public double[] DerivedValues { get; set; }
}
class Program
{
static void Example()
{
const int numRows = 2000000;
const int tempArraySize = 250;
var r = new Random();
var dataFrame = new List<MyDataRow>(numRows);
for (int i = 0; i < numRows; i++) dataFrame.Add(new MyDataRow { Id = i, Value = r.NextDouble() });
Stopwatch stw = Stopwatch.StartNew();
int gcs0Initial = GC.CollectionCount(0);
int gcs1Initial = GC.CollectionCount(1);
int gcs2Initial = GC.CollectionCount(2);
//GCSettings.LatencyMode = GCLatencyMode.LowLatency;
Parallel.ForEach(dataFrame, dr =>
{
double[] tempArray = new double[tempArraySize];
for (int j = 0; j < tempArraySize; j++) tempArray[j] = Math.Pow(dr.Value, j);
dr.DerivedValuesSum = tempArray.Sum();
dr.DerivedValues = tempArray.ToArray();
});
int gcs0Final = GC.CollectionCount(0);
int gcs1Final = GC.CollectionCount(1);
int gcs2Final = GC.CollectionCount(2);
stw.Stop();
//GCSettings.LatencyMode = GCLatencyMode.Interactive;
Console.Out.WriteLine("ElapsedTime = {0} Seconds ({1} Minutes)", stw.Elapsed.TotalSeconds, stw.Elapsed.TotalMinutes);
Console.Out.WriteLine("Gcs0 = {0} = {1} - {2}", gcs0Final - gcs0Initial, gcs0Final, gcs0Initial);
Console.Out.WriteLine("Gcs1 = {0} = {1} - {2}", gcs1Final - gcs1Initial, gcs1Final, gcs1Initial);
Console.Out.WriteLine("Gcs2 = {0} = {1} - {2}", gcs2Final - gcs2Initial, gcs2Final, gcs2Initial);
Console.Out.WriteLine("Press Any Key To Exit...");
Console.In.ReadLine();
}
static void Main(string[] args)
{
Example();
}
}
UPDATE 2: Просто переместить вещи из комментариев для будущих читателей ...
Это исправление: https://support.microsoft.com/en-us/kb/3088957 полностью устраняет проблему. После подачи заявления я не вижу никаких проблем с медлительностью.
Оказалось, что это не имеет никакого отношения к Parallel.ForEach. Я полагаю, что на основании этого: http://blogs.msdn.com/b/maoni/archive/2015/08/12/gen2-free-list-changes-in-clr-4-6-gc.aspx, хотя исправление действительно упоминает Parallel.ForEach по какой-то причине.
Следующим шагом будет опубликовать [MCVE] (http://stackoverflow.com/help/mcve), поэтому мы можем попробовать воспроизводя это на нашей машине и посмотреть, не испытываем ли мы подобное поведение. Было ли это построено для работы как x86 или x64? –
x64. Понял, работая над одним. Но его трудно получить, чтобы GC работали правильно. Я надеялся, что мне не хватает очевидного. –
@MichaelCovelli Что происходит, когда вы вынуждаете GC в цикле использовать 'GC.Collect()'? – svick