Impala Shell - Невозможно загрузить учетные данные AWS у любого поставщика в цепочке кластера Cloudera

Question

У меня есть кластер Cloudera с 3 рабочими узлами, 1 менеджером и 1 шлюзовой машиной. Я настроил aws-учетные данные в кластере с помощью секретного ключа и ключа доступа. Но я не могу выполнить какое-либо действие в ведро s3 с моей машины Gateway. Создание таблицы или базы данных или обработку запросов бросает исключение:

ОШИБКА: AnalysisException: нулевой ВЫЗВАНЫ: AmazonClientException: Не удается загрузить учетные данные AWS от любого поставщика в цепи

Я могу перечислить ведра или выполнить действия, связанные с CLI aws. Только в оболочке Impala она выдает эту ошибку.

Answer 1

Каждый узел impalad в кластере фактически выполняет работу, поэтому каждый узел должен иметь доступ к S3, а не только к шлюзу.

Answer 2

Вам необходимо настроить AWS AccessKey в файле hdfs-site.xml. Вы можете следовать процедуре по этой статье Cloudera: https://www.cloudera.com/documentation/enterprise/5-7-x/topics/impala_s3.html

Вам необходимо добавить следующие свойства в вашем HDFS-сайт/XML:

<property> 
    <name>fs.s3a.access.key</name> 
    <value>your_access_key</value> 
</property> 
<property> 
    <name>fs.s3a.secret.key</name> 
    <value>your_secret_key</value> 
</property> 

Если используется прокси-сервер, вам также необходимо добавить фс .s3a.proxy.host и fs.s3a.proxy.port.