distcp

0зной

2ответ

distcp от Hadoop до S3 с ошибкой: «Нет свободного места в любом из локальных каталогов»

Я пытаюсь скопировать данные из локального кластера слияния в ведро S3 с помощью distcp. Иногда это «работает», но некоторые из них не работают, а трассировка стека ниже. В других случаях так много ка

1зной

1ответ

Oozie - настройка стратегии на DistCp через конфигурацию действий

У меня есть рабочий процесс с действием distCp, и он работает довольно хорошо. Однако теперь я пытаюсь изменить стратегию копирования и не могу это сделать с помощью аргументов действия. Документация

0зной

1ответ

Понимание разницы между htfp URLS и HDFS пути

Эта разница приходит ко мне в выходные дни, когда я пытался передать объемные данные по различным группам (физически разделенных в помещениях) через hftp делая hadoop distcp hftp-path-src hftp-path-ds

0зной

1ответ

Число передатчиков при выполнении distcp

Как настроить количество сканеров для выполнения задания distcp? Я знаю, что мы можем установить максимальное количество картографов, выполнив Hadoop distcp -m. Но возможно ли установить число вместо

0зной

2ответ

Изменение имени/местоположения целевого файла в distcp

У меня есть несколько файлов в папке в hdfs с именами, имеющими формат filename.yyyy-mm-dd-hh.machinename.gz в hdfs. Мне нужно перенести их на s3, но я хочу поместить их в yyyy/mm/dd/hh/filename.yyyy-

0зной

1ответ

Hadoop distcp исключение не может переименовать файл TMP

Я пытаюсь перенести данные из одного CDH (CDH4.7.1) кластера к другому CDH (cdh5.4.1) кластера с помощью distcp команды, как показано ниже: hadoop distcp -D mapred.task.timeout=60000000 -update hdfs:

0зной

2ответ

s3-dist-cp and hadoop distcp job бесконечно loopin в EMR

Я пытаюсь скопировать данные 193 ГБ с s3 на HDFS. Я бегу следующие команды для s3-distcp и Hadoop distcp: s3-dist-cp --src s3a://PathToFile/file1 --dest hdfs:///user/hadoop/S3CopiedFiles/ hadoop dis

2зной

1ответ

Имеет ли distcp данные hadoop ENCRYPT при транспортировке из одного кластера в другой

Я хотел бы знать, имеет ли distcp возможность шифрования данных при транспортировке из одного кластера в другой. Я узнал, что он поддерживает шифрование в кластере S3, но это как-то связано с S3 Amazo