distcp

0зной

3ответ

Для копирования файла из HDFS в S3 ведро я использовал команду hadoop distcp -Dfs.s3a.access.key=ACCESS_KEY_HERE\ -Dfs.s3a.secret.key=SECRET_KEY_HERE /path/in/hdfs s3a:/BUCKET NAME Но ключ доступа

1зной

1ответ

Как скопировать файлы HDFS из одного кластера в другой кластер, сохранив время модификации

Мне нужно переместить некоторые файлы HDFS из моего производственного кластера в dev-кластер. Я должен проверить некоторые операции над файлами HDFS после перехода в dev-кластер на основе времени изме

1зной

1ответ

Перенос файлов из необеспеченных hdfs в защищенный hdfs кластер

Я хотел перенести файлы из незащищенного кластера HDFS в кластеризованный кластер. Я использую distcp для передачи файлов. Я использовал следующую команду. hadoop distcp -D ipc.client.fallback-to-simp

0зной

1ответ

Выполнение задания oozie distcp

У меня есть рабочий поток oozie, который выполняет операцию distcp. Workflow файл, как показано ниже: <workflow-app xmlns="uri:oozie:workflow:0.3" name="distcp-wf"> <start to="distcp-node"/> <action

0зной

1ответ

distcp: копия файла из HDFS в s3 (Как использовать в Скале или Java)

Я пытаюсь копировать большие файлы из HDFS в s3 через distcp через следующий код: val files:Array[String] = new Array[String](2) files(0) = "/****/in.zip" val in = new Path(new URI("/**/in.zip"))