Я использую Hadoop 2.0.5 (Alpha) для запуска относительно большие рабочих мест, и я столкнулся с этими ошибками:Разница между 3 параметрами памяти в Hadoop 2?
контейнера [PID = 15023, containerID = container_1378641992707_0002_01_000029] является работает за пределами виртуального памяти. Текущее использование: 492,4 МБ от 1 GB Используемая физическая память; 3,3 ГБ 2,1 ГБ Используемая виртуальная память. Убийство контейнер.
Затем я узнал об этих двух параметров:
yarn.nodemanager.vmem-Pmem-отношения собственности, который устанавливается в 2.1 по умолчанию.
yarn.app.mapreduce.am.command-opts, который по умолчанию установлен на -Xmx1024mb (= 1GB).
Это объясняет пределы, указанные выше.
Установка этих параметров на более высокое значение помогло, но потом я нашел этот параметр: yarn.app.mapreduce.am.resource.mb, который установлен в 1536 году по умолчанию.
И я не могу отличить 3 от описания, приведенного в XML-файлах по умолчанию Hadoop, и как я должен правильно установить их в целях оптимизации.
Объяснения или хорошая ссылка была бы оценен
hi @twid. Когда вы говорите: «1536 означает, что какой-нибудь nodemanager, который имеет равную или большую доступную память, будет выбран для выполнения задания» около «yarn.app.mapreduce.am.resource.mb», вы имеете в виду виртуальную память или физическую память? – polerto
thats физическая память – twid