2016-02-01 3 views
0

Как скрыть ACCESS_ID_KEY и SECRET_ACCESS_KEY для доступа к Amazon S3?Hadoop distcp to S3a со скрытой парой ключей

Я знаю о добавлении его в core-site.xml, но, возможно, существуют разные решения. Becouse с таким подходом каждый пользователь из кластера будет запускать distcp с теми же ключами. Может быть, есть какое-то решение, как хранить его в каком-либо файле свойств для каждого пользователя кластера?

Спасибо.

+0

Я нашел способ сделать это. Я изменил Hadoop DistCp на мою собственную реализацию. Я добавил дополнительный параметр, который принимает путь к файлу свойств с ключами AWS. –

ответ

1

Пожалуйста, ознакомьтесь с моим HCC post с использованием API-интерфейсов Hadoop для этого прецедента.