distcp: копия файла из HDFS в s3 (Как использовать в Скале или Java)

Question

Я пытаюсь копировать большие файлы из HDFS в s3 через distcp через следующий код:

val files:Array[String] = new Array[String](2) 
files(0) = "/****/in.zip" 

val in = new Path(new URI("/**/in.zip")) 
val out = new Path(new URI("***/out.zip")) 
var distcpOpt = new DistCpOptions(in,out) 
ToolRunner.run(new DistCp(new Configuration(),distcpOpt), files) 

Я пытался сделать что-то аналогично this link.

любой сделал это раньше, пожалуйста, помогите.

Answer 1

Я нашел решение:

1- массив файлов должны имеет два значения: сначала для ввода, а второй на выход.

2- distcpOpt не нужно иметь какое-либо значение (пустая строка достаточно)

3- убедитесь, что из пути s3