Выполнение заданий R в вычислительной среде сетки

Question

Я запускаю несколько моделей регрессии в R в вычислительной среде сетки. Насколько мне известно, сетка просто дает мне больше памяти и более быстрых процессоров, поэтому я думаю, что этот вопрос также применим и для тех, кто использует R на мощном компьютере.

Модели регрессии, которые я запускаю, имеют множество наблюдений и несколько переменных факторов, которые имеют много (10 или 100) уровней каждый. В результате регрессия может стать интенсивной с точки зрения вычислительной мощности. Я заметил, что когда я строю 3 регрессии в скрипте и отправляю их в сетку, он выходит из строя из-за ограничений памяти. Однако, если я запускаю его как 3 разных сценария, он работает нормально.

Я делаю некоторые очистки, поэтому после каждой модели я сохраняю объект модели в отдельный файл, rm (list = ls()), чтобы очистить всю память, а затем запустить gc() перед следующей моделью запускается. Тем не менее, запуск всех трех в одном скрипте, похоже, разбился, но разбивка работы, похоже, прекрасна.

Администратор sys говорит, что разбить его очень важно, но я не понимаю, почему, если я убираюсь после каждого прогона. 3 в одном скрипте запускает их последовательно. У кого-нибудь есть идея, почему работает три отдельных скрипта, но запуск всех моделей в одном скрипте вызовет у R проблемы с памятью?

спасибо! EXL

Answer 1

Подобные вопросы, которые стоит читать через: Forcing garbage collection to run in R with the gc() command Memory Usage in R

Мой опыт показывает, что R не является превосходным в управлении памятью. Вы можете попробовать поставить каждую регрессию в функцию, надеясь, что перенос переменных выходит за рамки работы лучше, чем gc(), но я бы не задерживал дыхание. Есть ли конкретная причина, по которой вы не можете запускать каждый в своей собственной партии? Более подробная информация по просьбе Джориса также поможет.