Разница между DSMS, Storm и Flink

Question

DSMS соответствует системам управления потоками данных. Эти системы позволяют пользователям отправлять запросы, которые будут выполняться непрерывно, до момента их удаления пользователем.

Могут ли системы, такие как Storm и Flink, рассматриваться как DSMS или они что-то более общее?

Благодаря

Answer 1

Оба типа систем являются более ортогональным друг к другу, как они пытаются решать различные варианты использования. Таким образом, ни один из них не предполагает или не является обобщением другого.

DSMS обычно:

• конца в конец решений, обеспечивающее хранение и вычисление как единое решение
• требуется для импорта внешних данных в систему первого
• часто DSMS является SQL ориентирован, что делает их просты в использовании, но часто они менее выразительны.
• обычно может обрабатывать только структурированные данные (формат кортежей на основе схемы)
• DSMS часто не масштабируется

поток обработки Каркасы (Flink, Storm, свечи):

• только обеспечивают вычислительный слой и потребительских данных из других систем хранения
• наиболее предложение языка встроенный DSL (некоторые из них также предлагают SQL в некоторой степени)
• может обрабатывать любой тип данных (плоские кортежи, JSON, XML, плоские файлы, текст)
• сборки масштабироваться до больших кластеров (многие сотни узлов)
• хорошо для данных хруст, машинного обучения

Streaming Platform (Кафка)

• обеспечивает слой для хранения и вычисления
• может обрабатывать любой тип данных до тех пор, импортируемых в систему (плоские кортежи, JSON, XML, плоские файлы, текст)
• масштабируемой и эластичной
• нет SQL, только Java DSL (Confluent Platform, который основан на Кафки предлагает KSQL, как разработчик предварительного просмотра)
• очень хорошо строится микросообщения