Я хочу использовать hadoop 2.6.0, и по умолчанию он включен в режиме YARN. Так что я должен написать заявление ПРЯЖА так:Должен ли я писать приложение YARN hasoop 2.6.0?
http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html
Или я просто пишу некоторые MapReduce приложения, как обычно? И какова функция этого приложения YARN?
Я nned ваш предложить, спасибо всем .....
Придумайте ПРЯЖИ как операционной системы данных & MapReduce в качестве приложения, которое работает поверх ПРЯЖИ.
Итак, существующий код MapReduce должен работать без каких-либо изменений даже в режиме YARN.
В приведенном выше примере кода показано, как вы можете создавать собственные приложения поверх YARN, которые скрывают абстракции выделения ресурсов, многоуровневого распределения, распределенного программирования, переключения при отказе и т. Д. Например, каркас MapReduce переписывается как приложение YARN, чтобы он мог работать поверх YARN. Это позволяет YARN одновременно запускать несколько приложений (MapReduce, Spark, Tez, Storm и т. Д.) Одновременно в одном кластере.
oooooo спасибо за ваш комментарий, теперь я немного знаю о YARN. Так, на ваш взгляд, что быстрее YARN (hadoop 2) или классический (hadoop 1) на одной и той же картографической задаче. Еще раз спасибо .... –
Поскольку YARN не улучшает существующий MapReduce, но позволит другим реализациям MR быть лучше во всех аспектах. Поэтому YARN не ускорит существующий MapReduce. – Ashrith
Ooooo bro извините, я хочу снова спросить hahaha sory , если вы знаете, на mapred-site.xml есть конфигурация о mapreduce.framework.name, если я напишу эту конфигурацию с «YARN» в качестве значений. Это делает мой процесс mapreduce медленнее, чем раньше. Большое спасибо брату .... –