Я пытаюсь установить и настроить Hadoop 2.6 на экземпляр Amazon EC2 t2.micro (свободный, с 1 ГБ ОЗУ) в псевдораспределенном режиме. Я мог настроить и запустить всех демонов (например, Namenode, Datanode, ResourceManager, NodeManager). Но когда я попытался запустить пример wordpount для mapreduce, он терпит неудачу. Я не знаю, если его отказ из-за низкой памяти (Так как t2.micro имеет только 1 ГБ памяти, а некоторые из них заняты ОС хоста, Ubuntu в моем случае). Или это может быть какая-то другая причина? Я использую настройки памяти по умолчанию. Если я смогу настроить все на минимальные настройки памяти, это решит проблему? Какова минимальная память в mb, которая может быть назначена контейнерам. Большое спасибо Ребята. Буду признателен, если вы можете предоставить мне некоторую информацию.Hadoop 2.x на amazon ec2 t2.micro
0
A
ответ
0
Не изменяя настройки памяти, я мог бы запустить пример pi с 1 картографом и 1 редуктором, иногда только на экземпляре t2mo бесплатного уровня. В большинстве случаев он терпит неудачу. Используя оптимизированный для памяти экземпляр r3.large с 15 ГБ оперативной памяти, все работает отлично. Все задания завершаются без сбоев.
По-моему, это пустая трата времени, чтобы попробовать запустить стек Hadoop на 1 ГБ оперативной памяти. Скорее всего, это происходит из-за памяти, о которой вы говорили. Вы можете проверить журналы, и вы увидите. – vanekjar
Я успешно сконфигурировал hadoop-1.2.1 на экземпляре t2.micro как в автономном, так и в полностью распределенном режиме (используя 5 t2.micros). Я работал на нем, работая над ним, и работал отлично. Я думаю, Hadoop-2.x также будет работать на t2.micro, если я смогу правильно настроить настройки памяти. Но я не уверен в этом. – MYGz