Apache Flink vs Twitter Heron?

Есть много вопросов, связанных с Flink vs Spark Streaming, Flink vs Storm и Storm vs Heron.Apache Flink vs Twitter Heron?

Происхождение этого вопроса связано с тем, что как Apache Flink, так и Twitter Heron являются истинными структурами обработки потока (а не микро-пакетными, например Spark Streaming). В прошлом году Storm был снят с продаж в Twitter, и вместо этого они используют Heron (что в основном переработано Storm).

Есть хорошие презентации Тонкий Baltagi на Флинка и Флинка против Spark: https://www.youtube.com/watch?v=G77m6Ou_kFA

Nice исследования Илья Ганелин на различных потоковых структур: https://www.youtube.com/watch?v=KkjhyBLupvs

Довольно интересные мысли о Флинка против Шторма: What is/are the main difference(s) between Flink and Storm?

Но я не видел никакого сравнения новых Storm/Heron vs Apache Flink.

Оба проекта довольно молоды, как поддержка с использованием ранее написанных приложений Storm, так и многое другое. Flink более уместен в экосистеме Hadoop, Heron больше в стеке экосистемы на основе Twitter.

Любые мысли?

источник

2016-06-04 experimenter

У вас есть статья в Twitter о Херон? В нем описываются основные различия между обеими системами. Имейте в виду, однако, что Шторм добился больших успехов с момента публикации этой статьи: https://dl.acm.org/citation.cfm?id=2742788 Если вы понимаете различия между Storm и Heron и знаете что-то о Flink, вы видите как он отличается от Flink. –

Все точки в referenced article, сравнивающие Apache Flink и Apache Storm, также применимы к Heron Twitter. Heron обеспечивает точно такой же тип семантики и функциональности, что и Storm. Херон лучше всего понимается просто как повторная реализация Storm, которая лучше подходит для операционных требований Twitter.

источник

2016-06-06 22:12:14

Спасибо. И да, это правда, но Heron оптимизирован, он может поддерживать такие функции, как динамическое изменение топологии и масштабирование, что может быть лучше Flink, что пока не поддерживается. Именно тот факт, что Heron является повторно реализованным Storm, интересен, потому что он добавляет новые функциональные возможности, которые изменяют перспективу существующих фреймворков. – experimenter

Начиная с Storm 1.0, система получила улучшения мэра; таким образом, уже не все верно. То же самое относится и к Flink ... Вы всегда должны сравнивать разные версии или, по крайней мере, иметь в виду, что SO отвечает датой, так как этот проект движется очень быстро. –

Извините. Чтобы уточнить, именно это я и хочу сказать. Heron не добавляет никаких новых основных функций, связанных с семантикой, гарантиями на обработку, динамической модификацией топологии, динамическим масштабированием и т. Д. Улучшения носят оперативный характер, но никаких новых основных функций над Storm и в некоторых случаях у Storm на самом деле есть более сложные функции прямо сейчас , Тем не менее, Heron удовлетворяет эксплуатационные потребности Twitter. –

ответ

Смежные вопросы