2013-04-12 4 views
1

У нас есть существующая установка, в которой системы восходящего потока отправляют нам сообщения в очередь сообщений, и мы обрабатываем эти сообщения. Содержимое - это xml, и мы просто немаршалируем. Этот шаг unmarshalling сопровождается записью в db (для размещения соответствующих значений на соответствующих колонны). Система настроена на взаимодействие со многими другими системами восходящего потока, и наши объемы будут увеличиваться до максимального размера 40 мм в день.Шторм в качестве замены для многопоточного подхода потребителя/производителя для обработки больших объемов?

Наш текущий способ обработки состоит в том, что в очередях есть слушатели, а затем есть несколько потоков производителей и потребителей, которые выполняют демаршаллинг и последующую запись db.

Мой вопрос: Может ли этот процесс вписываться в сценарий сценария использования шторма? Я имею в виду, может MQ быть моим носиком, и у меня есть 2 болта, один для отмены, и тогда это становится носиком для следующего болта, который записывает в db?

Если да, то в чем польза, которую я могу получить? Прощается с громоздким многопоточным шаблоном производителя/рабочего кода. Если это так просто, как указано выше, то где/почему нужно было бы прибегнуть к традиционному многопоточному подходу к сценарию производителя/потребителя Моей точкой является объем данных/частота, при которых Storm начинает светиться по сравнению с обычным подход.

PS: Я новичок в этом и пытается получить навык этого и хотите, чтобы убедиться, если линия мышления является правильным

С уважением, CVM

+0

Этого вопрос, вероятно, слишком широк, чтобы эффективно отвечали здесь на SO. Возможно, вам повезет в списке рассылки штормовых пользователей. –

ответ

3

Определенно этот сценарий может поместиться в штормовая топология. Втулки могут вытягиваться из MQ, и болты могут обрабатывать немаршаллирующую и последующую обработку.

Основным преимуществом по сравнению с традиционным многопоточным рисунком является возможность добавления большего числа рабочих узлов при увеличении нагрузки. Это не так просто с традиционными образцами потребительских товаров.

Конкретный номер тома данных является очень широким вопросом, так как это зависит от большого числа факторов, таких как аппаратные средства и т.д.