Использование флюса: чтение из HTTP и нажатие на HDFS через Kafka

Question

Я новичок в Flume и думаю использовать Flume в приведенном ниже сценарии.

Наша система принимает события как HTTP POST, и нам нужно сохранить их копию в Kafka (для дальнейшей обработки) и другую копию в HDFS (в качестве постоянного хранилища).

Можем ли мы настроить источник потока как HTTP, канал как KAFKA, как HDFS для удовлетворения наших требований. Будет ли это решение работать?

Answer 1

Если я хорошо понял, вы хотите, чтобы Kafka в качестве конечного бэкэнд должен был хранить данные, а не как внутренний канал, используемый агентом Flume для связи как источника, так и приемника. Я имею в виду, агент Flume в основном состоит из источника, получающего данные, и создает события Flume, которые помещаются в канал, чтобы приемник считывал эти события и что-то делал с ними (как правило, сохраняя эти данные в конечном бэкэнд). Таким образом, согласно вашему дизайну, если вы используете Kafka как внутренний канал, это будет тот, внутренний способ передачи HTTP-источника и HDFS-приемника; но он никогда не будет доступен извне агента.

Для того, чтобы удовлетворить ваши потребности, вам нужно будет и агент, такие как:

http_source -----> memory_channel -----> HDFS_sink ------> HDFS 
      | 
      |----> memory_channel -----> Kafka_sink -----> Kafka 

{.................Flume agent.....................}  {backend} 

Соблюдайте каналы памяти на основе являются внутренними из них, они могут быть основаны на память, или файлах, даже в Кафка, но каналы Кафки будут отличаться от финального Кафки, и вы будете хранить данные и которые будут доступны вашему приложению.