Я пытаюсь настроить сверло apache в распределенном режиме. У меня уже есть cloudera hasoop cluster с мастером и 2 подчиненными. Из документации, приведенной на сверле Apache, ее довольно неясно, можно ли ее настроить с помощью типичного клаудера cloudera. Я не нашел подходящих статей. Любая помощь будет оценена по достоинству.Может ли apache работать с cloudera hadoop?
ответ
Я получил эту работу с распределением cloudera hadoop. У меня уже установлен клаудер кластера со всеми работающими службами.
выполнить следующие шаги:
- Установка Apache дрель на всех узлах кластера.
- Запустите дрель/bin/drillbit.sh на каждом узле.
- Конфигурирование плагина хранилища для dfs с помощью apache-бурового веб-интерфейса на хосте: 8047. Обновите конфигурации HDFS здесь.
- Выполнить Sqlline: ./sqlline -u JDBC: сверла: гк = host1: 2181, host2: 2181, host3: 2181 (. 2181 это номер порта, используемый зоопарка)
Дрель может быть установлена вместе с Cloudera на узлах кластера независимо - и будет иметь возможность запрашивать файлы на HDFS. Ссылка на детали установки - https://cwiki.apache.org/confluence/display/DRILL/Deploying+Apache+Drill+in+a+Clustered+Environment
Эта связь не является общедоступной в настоящее время: \ – captainpete
Это работает для меня https://drill.apache.org/docs/installing-drill -on-the-cluster/ – captainpete
Он может работать только с рудиментарным небезопасным кластером, поскольку Drill в настоящее время не тестируется/не документируется для интеграции с HDFS + Kerberos для надежных кластеров Hadoop. Голосуйте и проверьте на билете для бурильных безопасной поддержки HDFS:
Можете ли вы отправить пример конфигурации DFS? В моем сценарии JSON принимается веб-интерфейсом, но, похоже, не видит этих изменений. – Havnar