1
Я хочу реализовать лямбда-архитектуру с помощью простого примера. Я не могу поместить свой стек технологий в каждый слой лямбда-архитектуры.Реализация лямбда-архитектуры с использованием Hadoop, Apache Spark, HBase
Я хочу найти топ-10 популярных хэштегов в твиттер-твитах в режиме реального времени. Я перечисляю цель каждого заяц-лайнера от http://lambda-architecture.net/.
- Все данные , входящие в систему отправляется как для пакетного слоя и слоем скорости для обработки.
- пакетный слой имеет две функции: (I) управления главного набора данных (неизменные, добавление-только набор исходных данных), и (б) предварительно вычислять Взгляды партии.
- обслуживающий уровень индексирует представления партий, чтобы их можно было запросить с низкой задержкой, специальным способом.
- Слой скорости компенсирует высокую задержку обновлений для обслуживающего слоя и касается только последних данных.
- Все входящие запросу могут быть отвечены, слияние результатов из серии просмотров и просмотров в режиме реального времени.
Какая часть моей проблемы я могу решить с каждым слоем. Я работаю с Apache Spark & Hadoop HDFS.