Storm UI throwing «Смещение задержки для kafka не поддерживается для более старых версий. Обновите версию kafka до последней версии».

Question

Я обновил кластер hdp до 2,5 и обновил топологические зависимости штормового ядра до 1.0.1 и штормового кафки до 1.0.1. После развертывания новой топологии с новыми зависимостями 1.0.1 все работает так, как ожидалось в конце, но штурм UI не всегда показывает нуль для «Acked», «Emitted», «Transferred» и т. Д.

Storm UI показывает сообщение «Смещение задержки для kafka не поддерживается для более старых версий. Обновите версию kafka до последней версии». в разделе «Ошибка запаздывания топологии», что это значит?

Answer 1

Я полностью согласен с «Jungtaek Lim» (выше ответа).

Apache Storm в HDP 2.5 на самом деле не такой же, как официальный Apache Storm 1.0.1, поскольку он вытащил больше патчей из следующих версий (еще не выпущенных).

Я исправил эту проблему, потянув за зависимость HDP 2.5 от strom-kafka от репозитория HDP (http://repo.hortonworks.com/content/repositories/releases/org/apache/storm/storm-kafka/1.0.1.2.5.0.0-1245/).

Answer 2

Apache Storm в HDP 2.5 на самом деле не такой же, как официальный Apache Storm 1.0.1, поскольку он вытащил больше патчей из следующих версий (еще не выпущенных).

https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.0/bk_release-notes/content/patch_storm.html

Функция «Смещение задержки для Кафки» вводится Буря 1.1.0 (пока не выпущена) и требует соответствующей версии ливневых Кафка (так начиная с Бури 1.1.0, тоже).

Вам необходимо установить версию штормового ядра и штормовой кафки на соответствующий (также, возможно, потребуется установить HWX-репо вашему pom). Вы можете увидеть версию из пользовательского интерфейса или результат «./storm version» или журнала демонов.