Недавно я начал с hadoop, и я пытаюсь использовать его с помощью giraph (потому что мне это нужно для манипулирования огромными графами). Итак, для построения giraph (версия 1.1.0, последняя стабильная версия), Я выбрал версию 2.40 релиза hadoop (в соответствии с этим link, это последняя версия, поддерживаемая в Amazon EMR). Я по-прежнему выполняю локальный тест, и я даже не близок к полному развертыванию в AWS, но я стараюсь делать все, что работает над этой задачей (программирование в Amazon EMR).Hadoop 2.4.0 и Giraph 1.1.0 в Amazon EMR?
Но, когда я строил гироскоп с Maven (я избегаю использования профиля YARN), я ударил проблему, обнаруженную в этом bug (HADOOP-10547). Так что, я не знаю, что является лучшим вариантом, чтобы выбрать из здесь, я надеюсь, что кто-то может помочь мне здесь:
- Выберите версию 2.2 и попытаться построить giraph с ним (это самая продвинутая версия, до 2.4, доступно). Недостатком этой опции является то, что я только начинаю, и я хочу использовать последнюю версию доступной хауопа.
- Загрузите источник hadoop 2.4, исправьте HADOOP-10547 самостоятельно (потому что он появляется, что 2.4 version of hadoop for AWS doesn't have this fix), постройте его и попробуйте перестроить giraph после. Я только строю хауоп сам по себе, чтобы исправить эту ошибку, у меня нет планов продолжать ее модифицировать. Недостатком этого варианта является то, что я не уверен, что это возможно сделать снова в развертывании AWS (возможно, с помощью действий по загрузке?)
Возможно, есть еще один вариант, который я не рассматриваю в порядке используйте hadoop 2.4.0 и giraph 1.1.0 в Amazon EMR.