0

У меня возникла странная ошибка, которую я не могу найти в каких-либо журналах на моей Azure Hortonworks Sandbox. Я пытаюсь выполнить следующую практическую задачу, чтобы попробовать интеграцию Mongodb с Hadoop (Hive): https://www.mongodb.com/blog/post/using-mongodb-hadoop-spark-part-2-hive-example, но когда я пытаюсь создать таблицу в Mongo с Hive, я получаю следующую ошибку (с использованием CLI CLI, beeline и Ambari улей вид как на MR2 и Tez процессор):Где хранятся журналы Hive, созданные сбой соединителя Hadoop от MongoDB в HDP Sandbox?

Error: Error while processing statement: FAILED: Execution Error, 
return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.com/mongodb/BasicDBObject (state=08S01,code=1) 

Ну, прибегая к помощи этого сообщения я нашел людей, цитируя некоторые журналы Java, описывающий то, что реальное исключение, и заключить (большую часть времени) MongoDB-Java- Ярлыки драйвера отсутствовали в пути к классам.

Мой первый вопрос: Где эти журналы, описывающие реальное исключение? Поскольку поиск в /var/log/hive*/*.log и Yarn ResourceManagerUI -> журналов, я не вижу ничего, кроме «InterruptedException», «ERROR applicationhistoryservice.ApplicationHistoryServer (LogAdapter.java:error(69)) - ПОЛУЧЕННЫЙ СИГНАЛ 15: SIGTERM »и т. Д. Но ничего действительно полезного.

Далее я добавил банки mongo-hadoop-core и mongo-hadoop-hive (построил из github в соответствии со спецификациями моей песочницы) И версию 3.3.0 mongodb-java-драйвера по локальному пути, указанную в раздел hive.aux.jars.path из hive-site.xml и, наконец, перезапустил мою службу улья (так, включая hive-server2) ... Но не было никакой возможности заставить это работать, и не было никакой возможности получить дополнительную информацию понять, почему он не работает ...

Я что-то забыл? Спасибо за помощь!

ответ

0

Ну, наконец, я нашел, в чем была моя проблема.

Банки bson- .jar отсутствовавшие $ MongoVersion .jar и MongoDB-водитель-$ core-MongoVersion.

Даже если документация соединителя указывает нам нужно включить Монго-Hadoop-$ core-connectorVersion .jar, Монго-Hadoop-hive- $ connectorVersion .jar и MongoDB-$ функции драйвера mongoJavaDriver .jar к пути класса hadoop, кажется, что для этого нужны также басоны bson и mongodb-driver-core.

Наконец, журналы расположены здесь: /var/log/hive/hiveserver2.log. Я не понимаю, как я мог пропустить такое сообщение, читающее тезисы, но это было так.