Каким образом зависят отношения oozie?

Question

У меня есть несколько вопросов о oozie 2.3 библиотеки акций:

В настоящее время я определил библиотеки акций в наших coordinator.properties:

oozie.use.system.libpath=true 
oozie.libpath=<hdfs_path> 

Вот мои вопросы:

1. Когда доля библиотеки копируются на другой узел данных и сколько узлов данных получат общие библиотеки?

2. Являются ли библиотеки общего доступа скопированы в другой узел данных на основе количества wf в задании координатора или они копируются только один раз на задание координатора?

Answer 1

Добавление записей в oozie.libpath собственности фактически означает, что OOZIE будет настроить эти библиотеки, чтобы быть в свойстве конфигурации mapred.cache.files (это свойство DistributedCache), когда действия в рабочем процессе выполняются.

Hadoop будет заботиться о копировании этих банок для каждого узла кластера один раза в работу, а также задачи, затем сконфигурированы с банкой в ​​свойстве конфигурации классов mapred.job.classpath.files

Таким образом, в ответ на ваш второй вопрос, они будут копироваться для каждого действия в рабочем процессе, а не один раз для задания координатора. Поэтому, если у вас есть работа wf, которая имеет 4 действия по созданию карты, библиотеки будут скопированы на каждый tasktracker (только те трекеры задач, которые участвуют в задании mapreduce) 4 раза за всю жизнь этого рабочего процесса.