IIS Logs Straming to Hadoop в реальном времени

Question

Я пытаюсь сделать POC в Hadoop для агрегации журналов. у нас есть несколько серверов IIS, на которых размещено как минимум 100 сайтов. Я хочу постоянно транслировать журналы на HDFS и анализировать данные и хранить в Hive для дальнейшей аналитики.

1) Является ли Apache KAFKA правильный выбор или Apache Flume

2) После того, как потоковая лучше использовать Apache шторм и глотают данные в улье

Пожалуйста, помогите с любыми предложениями, а также любая информация подобного рода постановки задачи.

Благодаря

Answer 1

Вы можете использовать либо Kafka or flume также можно объединить и получить данные в HDFS, но вам нужно написать код для этого Есть OpenSource средство управления потоком данных, доступное, вам не нужно писать код. Например. NiFi and Streamsets

Вам не нужно использовать какие-либо отдельные инструменты для проглатывания, вы можете напрямую использовать эти инструменты потока данных, чтобы поместить данные в таблицу улья. Когда таблица создается в улье, вы можете делать свою аналитику, предоставляя запросы.

Сообщите, что вам нужно что-нибудь еще.