2017-02-22 20 views

ответ

1

Цитируя InfoQ article на Jet:

Отправка работоспособной в раздел аналогична работе одной DAG вершины. Преимущество Jet заключается в возможности преобразования вершин в данные, которые он читает, создавая элементы, которые больше не принадлежат к одному разделу, а затем перетаскивают их при отправке в нисходящую вершину, чтобы они снова были правильно разделены. Это важно для любого вида операции уменьшения карты, когда блок восстановления должен наблюдать все элементы данных с одним и тем же ключом. Чтобы минимизировать сетевой трафик, Jet может сначала сократить срез данных, созданный на локальном элементе, а затем отправить только один элемент на ключ для удаленного элемента, который объединяет частичные результаты.

Обратите внимание, что это просто преимущество в контексте тех же или подобных вариантов использования, которые в настоящее время охватываются процессорами ввода. Jet может принимать данные из любого источника и использовать вычислительные ресурсы всего кластера для его обработки.

+0

Любое из коробки способ наблюдать за событиями, скажем, на вычислениях IMap или Queue и триггерах? – Manish

+0

Регистрация прослушивателя событий на тех объектах, которые запускают работу Jet, кажется мне разумным подходом. –