2015-02-20 3 views
3

Я пытаюсь настроить сверло apache в распределенном режиме. У меня уже есть cloudera hasoop cluster с мастером и 2 подчиненными. Из документации, приведенной на сверле Apache, ее довольно неясно, можно ли ее настроить с помощью типичного клаудера cloudera. Я не нашел подходящих статей. Любая помощь будет оценена по достоинству.Может ли apache работать с cloudera hadoop?

ответ

1

Я получил эту работу с распределением cloudera hadoop. У меня уже установлен клаудер кластера со всеми работающими службами.

выполнить следующие шаги:

  1. Установка Apache дрель на всех узлах кластера.
  2. Запустите дрель/bin/drillbit.sh на каждом узле.
  3. Конфигурирование плагина хранилища для dfs с помощью apache-бурового веб-интерфейса на хосте: 8047. Обновите конфигурации HDFS здесь.
  4. Выполнить Sqlline: ./sqlline -u JDBC: сверла: гк = host1: 2181, host2: 2181, host3: 2181 (. 2181 это номер порта, используемый зоопарка)
+0

Можете ли вы отправить пример конфигурации DFS? В моем сценарии JSON принимается веб-интерфейсом, но, похоже, не видит этих изменений. – Havnar

2

Дрель может быть установлена ​​вместе с Cloudera на узлах кластера независимо - и будет иметь возможность запрашивать файлы на HDFS. Ссылка на детали установки - https://cwiki.apache.org/confluence/display/DRILL/Deploying+Apache+Drill+in+a+Clustered+Environment

+0

Эта связь не является общедоступной в настоящее время: \ – captainpete

+0

Это работает для меня https://drill.apache.org/docs/installing-drill -on-the-cluster/ – captainpete

0

Он может работать только с рудиментарным небезопасным кластером, поскольку Drill в настоящее время не тестируется/не документируется для интеграции с HDFS + Kerberos для надежных кластеров Hadoop. Голосуйте и проверьте на билете для бурильных безопасной поддержки HDFS:

https://issues.apache.org/jira/browse/DRILL-3584