Истекшее время для задачи Hadoop

Question

У меня на кластере работает YARN. Он имеет 3 datanodes и 1 клиентский узел. Я отправляю все свои задания на клиентский узел. Как я могу получить прошедшее время для всех задач в конкретной работе.

Возможно, RESTful API (https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/MapredAppMasterRest.html) может быть использован для этой цели. Но мне любопытно узнать, есть ли какой-либо Java API, чтобы сделать то же самое.

Я могу найти время начала для всей задачи, используя метод getStartTime() класса TaskReport. Хотя узлы в кластерах синхронизируются с использованием NTP, я не думаю, что было бы хорошей практикой использовать текущее время клиентской системы (System.currentTimeMillis()) для вычисления прошедшего времени для выполнения задач, может быть принято отставание, связанное со всеми узлами в кластере, даже в NTP.

Answer 1

В классе Job существует метод, называемый #getTaskReports.

Вы могли бы использовать его таким образом, чтобы получить продолжительность карты задачи:

Job job = ...; 
job.waitForCompletion(); 

TaskReport[] reports = job.getTaskReports(TaskType.MAP); 
for(TaskReport report : reports) { 
    long time = report.getFinishTime() - report.getStartTime(); 
    System.out.println(report.getTaskId() + " took " + time + " millis!"); 
}