Замена плеска с помощью лотка или кафки

Question

Мне нужна ваша помощь с одним предложением. В текущем сценарии у нас есть одно приложение в облаке, а через splunk мы можем просматривать журнал. Я собираюсь реализовать это, используя наши большие инструменты данных, такие как flume/kafka, в которых я могу принимать данные в реальном времени из облака (в настоящее время взяты splunk) и сделать его доступным для нашей HDFS. Немногие относятся здесь

1. это является осуществимым и иметь смысл?
2. для поиска журнала (такой же потенциал, как Splunk)
   

, какой инструмент мы можем использовать?

Answer 1

Если вы просто хотите переместить журналы в HDFS, вы можете использовать Flume с HDFS-раковиной.
Есть также несколько других вариантов, как -

Logstash

Вы можете использовать другие рамки, как Elasticsearch и Kibana иметь больше функциональных возможностей, доступных для журналов.