Вход в Azure из приложения Spark Java

Question

Мы пытаемся разработать приложение искровой Java-оболочки в линейке Linux Azure HDInsight. Мы смогли подать заявку через Ливи, и она работает нормально.

Проблема, с которой мы сталкиваемся, связана с протоколированием. Как мы можем использовать log4j здесь, потому что если мы используем RollingFileAppender, тогда мы должны поместить путь к выходному файлу .log. В нашем случае мы должны записать журнал в хранилище blob. Но мы считаем, что нормальная регистрация не сработает.

Мы нашли некоторый механизм регистрации, предоставленный компанией Azure через Azureinsights, но все они сделаны для веб-проекта, и я думаю, что он не работает из нашего приложения Java.

Можете ли вы, пожалуйста, помочь мне здесь, как мы можем реализовать регистрацию приложений из приложения искры java? Может быть, в будущем люди из организации могут подумать о том, чтобы использовать Splunk как инструменты для работы с журналами.

Ждем вас к помощи.

Thanks, Shamik.

Answer 1

Основываясь на моем понимании, я думаю, что вы хотите записывать журналы в хранилище blob или HDFS на основе Blob Storage.

Итак, для входа в контейнер хранилища blob, мое предложение состоит в том, что вы можете попробовать использовать стороннее приложение для log4j, например AzureLogAppender. Или другим способом входа в хранилище таблиц является использование этих добавок для log4j, таких как log4j-azure и azure-log4j.

Если вы хотите записывать журналы в HDFS на Azure, существует два способа, как показано ниже.

1. Вы можете обратиться к article, чтобы написать пользовательское приложение для log4j.
2. Использование Apache Flume appender for Log4j для отправки журналов в Flume, который записывает в HDFS, что вы можете обратиться к blog, чтобы узнать, как использовать Flume с Azure HDInsight.