У меня есть задача сконфигурировать простой конвейер для приема журнала приложений. Предварительным условием для этого конвейера является использование kafka в качестве транспортного протокола. Как я понимаю, лоток имеет встроенную возможность проглатывания файлов журналов. Есть ли способ использовать лоток в качестве производителя, и передать его на тему кафки?Можно ли использовать лоток в качестве производителя кафки для регистрации логов?
Да, вы можете использовать Flume как продюсер для Kafka. Посмотрите на этот API, предоставляемый Flume: https://flume.apache.org/releases/content/1.6.0/apidocs/org/apache/flume/sink/kafka/KafkaSink.html
Да, вы можете использовать. Как указано в предыдущем ответе.
Просто хочу добавить, что вам нужно сделать конфигурации, аналогичные:
# Sources, channels, and sinks are defined per
# agent name, in this case flume1.
flume1.sources = kafka-source-1
flume1.channels = hdfs-channel-1
flume1.sinks = hdfs-sink-1
# For each source, channel, and sink, set
# standard properties.
flume1.sources.kafka-source-1.type = org.apache.flume.source.kafka.KafkaSource
flume1.sources.kafka-source-1.zookeeperConnect = ...