Переместить файл из HDFS в один каталог в другой каталог в HDFS с помощью OOZIE?

Я пытаюсь скопировать файл из HDFS в один каталог в другой каталог в HDFS, с помощью сценария оболочки в составе oozie Job, но я не могу его скопировать через oozie.Переместить файл из HDFS в один каталог в другой каталог в HDFS с помощью OOZIE?

Можем ли мы скопировать файл из HDFS в один каталог другому режиссеру в HDFS, используя oozie.

when i am running the oozie job, i am not any getting error. 

it is showing status SUCCEEDED but file is not copying to destination directory.

oozie Файлы находятся ниже.

test.sh

#!/bin/bash 
echo "listing files in the current directory, $PWD" 
sudo hadoop fs -cp /user/cloudera/RAVIOOZIE/input/* /user/cloudera/RAVIOOZIE/output/ 
ls # list files

мой workflow.xml является

<workflow-app name="RAMA" xmlns="uri:oozie:workflow:0.5"> 
<start to="shell-381c"/> 
<kill name="Kill"> 
    <message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message> 
</kill> 
<action name="shell-381c"> 
    <shell xmlns="uri:oozie:shell-action:0.1"> 
     <job-tracker>${jobTracker}</job-tracker> 
     <name-node>${nameNode}</name-node> 
     <exec>/user/cloudera/test.sh</exec> 
     <file>/user/cloudera/test.sh#test.sh</file> 
      <capture-output/> 
    </shell> 
    <ok to="End"/> 
    <error to="Kill"/> 
</action> 
<end name="End"/>

и мои job.properties

oozie.use.system.libpath=True 
security_enabled=False 
dryrun=True 
jobTracker=localhost:8032 
nameNode=hdfs://quickstart.cloudera:8020 
oozie.wf.application.path=${nameNode}/user/cloudera/test/

пожалуйста, помогите в этом. почему файл не копируется моему директору назначения.

, пожалуйста, дайте мне знать, есть ли что-то, чего я пропустил.

источник

2016-08-04 sai kumar

ваш рабочий процесс.xml и сценарий оболочки отлично смотрятся. Возможно, вам придется тщательно искать ошибку - даже если она говорит, что это удалось. Выводится ли ваш оператор echo в сценарии оболочки? – sorabh

Я могу видеть выражения echo в «jobhistory/logs», но там не отображается какая-либо ошибка. Показывается в журнале «Oozie Launcher», записывая выходные данные: =============== ======== привет, cloudera. Я хочу перечислить некоторые ваши файлы файлы в текущем каталоге,/var/lib/hadoop-yarn/cache/пряжа/nm-local-dir/usercache/cloudera/appcache/application_1470284226059_0022/container_1470284226059_00ror.ie " –

Ваш вопрос помечен *« Переместить файл »*, но ваш пост на самом деле о * копировании файлов *. Если вы действительно хотите ** переместить ** эти файлы, вы должны попробовать собственное действие Oozie ** HDFS ** https://oozie.apache.org/docs/4.2.0/WorkflowFunctionalSpec.html#a3.2.4_Fs_HDFS_action –

Как уже отмечался в комментариях по @Samson:

Если вы хотите сделать Hadoop действия с oozie, вы должны использовать hdfs action, а не действие оболочки для этого.

Я не знаю, почему вы не получите сообщение об ошибке, но вот некоторые предположения о том, что может произойти:

Вы даете oozie задачу начать действия оболочки, она успешно запускает оболочку и сообщает об успехах. Затем действие оболочки выходит из строя, но это не проблема сорта.

источник

2016-08-10 09:31:01

Переместить файл из HDFS в один каталог в другой каталог в HDFS с помощью OOZIE?

ответ

Смежные вопросы