Количество слов с помощью шторма или Trident

Question

Для простого подсчета слов программы в storm-starter, логика довольно прямо вперед:
1) разделить предложение на слова
2) испускают каждое слово
3) совокупный счетчик (хранить счетчик в карте)

Однако есть две проблемы:
1) программа использует 12 отдельных потоков для выполнения агрегирования части, что означает, что количество не GLOBAL, мы должны добавить еще один слой получить глобальный счет?
2) в болте карты используются для хранения счета, что означает, что он имеет состояние, а что, если текущий рабочий не работает, все счета, хранящиеся в болте, исчезли? поскольку шторм является апатридом
3) следует ли использовать Trident для этого?

Answer 1

Каждый болт содержит 1/12 слов для глобального состояния. Группировка полей посылает конкретные слова на один и тот же болт каждый раз, чтобы подсчеты были точными во всем мире.

https://storm.apache.org/documentation/Concepts.html

Поля группировки: Поток разбивается на полях, указанных в группировки. Например, если поток сгруппирован по полю «user-id» , кортежи с тем же «идентификатором пользователя» всегда будут обращаться к одной и той же задаче , но кортежи с разными «идентификаторами пользователя» могут перейти к разные задачи.

Да, счетчики будут потеряны, если узел разбился. Постоянное хранилище должно использоваться в соответствии с допуском вашего приложения к неточности и требуемым характеристикам.

Trident помогает вам создавать состояния, которые выполняют ровно один раз обработки (считая в этом примере). Если опорная карта в примере была HBase, она была бы устойчивой к сбоям при сбоях, но вы либо потеряли бы данные при перезапуске болта (обработка лучших усилий), либо над счетными словами, если кортеж предложения был воспроизведен (по крайней мере, после обработки) , Если вам нужно что-то считать, Trident - это путь.