C# chunked array

Question

Мне нужно выделить очень большие массивы простых структур (1 ГБ ОЗУ). После нескольких распределений/освобождений память становится фрагментированной и генерируется исключение OutOfMemory.

Это до 32 бит. Я бы предпочел не использовать 64-битный из-за штрафа за производительность, которое я получаю - одно и то же приложение работает на 30% медленнее в режиме 64 бит.

Знаете ли вы о некоторых реализациях совместимых с IList массивов, которые выделяют память в кусках, а не все сразу? Это позволит избежать проблемы фрагментации памяти.

Answer 1

Джош Уильямс представил BigArray<T> класс на своем блоге с помощью блочного массива:

BigArray<T>, getting around the 2GB array size limit

Вы найдете больше полезную информацию в этом связанном с этим вопрос:

C# huge size 2-dim arrays

Простым специальным исправлением может быть включение 3GB-переключателя для вашего приложения. Это позволяет вашему приложению использовать более чем 2 ГБ для каждого процесса в 32-разрядной Windows. Однако имейте в виду, что максимальный размер объекта, который разрешает CLR, по-прежнему составляет 2 ГБ. Переключатель может быть включен с помощью пост-встроенных действий для основного исполняемого файла:

call "$(DevEnvDir)..\tools\vsvars32.bat" 
editbin.exe /LARGEADDRESSAWARE "$(TargetPath)" 

Answer 2

Будет ли LinkedList работать на вас? http://msdn.microsoft.com/en-us/library/he2s3bh7.aspx

Answer 3

При вызове массива, .Net пытается найти смежную часть памяти для вашего массива. Поскольку общий предел памяти для 32-битного приложения составляет 2 ГБ, вы можете видеть, что будет трудно найти такой блок после нескольких распределений.

1. Вы можете попробовать использовать что-то вроде LinkedList<T>, чтобы избежать необходимости непрерывного выделения, или реструктурировать свой код, чтобы сделать эти куски меньше (хотя вы не будете полностью безопасны, это не будет происходить с массивом 500Mb также).

2. С другой стороны, одним из решений было бы создать экземпляр этого большого буфера только один раз, в начале вашего приложения, а затем реализовать алгоритм, который будет использовать это же пространство во время вашего приложения.

3. Если вы можете использовать IEnumerable вместо IList для передачи ваших данных в остальную часть вашей программы, вы сможете свернуть этот список, используя метод LINQ SelectMany.

4. И в конце вы можете просто реализовать интерфейс IList в пользовательском классе и использовать несколько меньших массивов под капотом.