Как создать Kafka Connect, который является раковиной, а также источником

Question

Я разрабатываю Kafka-Connector, который подписывается на тему, трансформирует сообщения, переводит преобразованные сообщения обратно в другую тему.

До сих пор я реализую его как класс SinkTask, и каждая задача выполняет ETL, создает экземпляр объекта издателя, записывает сообщения обратно в другую тему.

Есть ли более чистый способ его реализации? Я считаю, что это обычный вариант использования соединителя как приемника, так и источника.

Answer 1

Это не основной вариант использования Kafka Connect. Если вы уже на Kafka 0.10.x, новый Kafka Streams API был создан именно для такого рода вещей.