2016-12-01 3 views
0

Мое приложение настроено на чтение темы из сконфигурированного Kafka, а затем записывает преобразованный результат в Hadoop HDFS. Для этого его нужно запустить на узле кластера пряжи.Как развернуть автономное приложение с Spring DataFlow?

Для этого мы хотели бы использовать Spring DataFlow. Но так как это приложение не нуждается в каком-либо вводе из другого потока (он уже знает, куда его вытащить), и ничего не выводит, как я могу создать из него действительный поток DataFlow? Другими словами, это будет поток, состоящий только из одного приложения, которое должно выполняться бесконечно на узле нити.

ответ

1

В этом случае вам потребуется определение потока, которое соединяется с именованным пунктом назначения в Кафке и записывается в HDFS.

Например, поток будет выглядеть следующим образом:

stream create a1 --definition ":myKafkaTopic > hdfs"

Вы можете прочитать here для получения дополнительной информации по этому вопросу.

+0

Спасибо, что я сделал, чтобы он работал, так как у меня не было другого выбора. Название темы действительно имеет значение здесь, поскольку все уже настроено в приложении самостоятельно? Должен ли я изменить поведение приложения для использования Sink в качестве входных данных, а не настраивать опрос Kafka непосредственно в нем? –

+0

Пока приложение раковины HDFS использует связывание потока 'kafka', вам не нужно вносить какие-либо изменения. Название темы действительно имеет значение, и вам не нужно ничего настраивать в приложении приемника, если вы используете поток данных. –