Весенняя партия как ETL для записи данных вызовов Загрузка в DB-Telecom

Question

Если кто-то может обмениваться информацией о весенней партии, используемой в качестве инструмента ETL. В частности, в телекоммуникационных компаниях для записи данных о записи данных (CDR) из сетевого коммутатора. В доме ETL разработан весенний пакет.

1. Какова производительность в производстве?

2. Любая облачная вычислительная платформа, используемая с весенней периодичностью для обеспечения масштабируемости.

Answer 1

SpringBatch для программистов Java Dev просто незаменим для написания рабочих заданий ETL, что, возможно, проще и удобнее обслуживать, чем специализированный инструмент ETL, такой как SSIS.

Я не могу предоставить подробную информацию о производительности, потому что все более крупные задания, которые я выполняю, ограничены сетевой задержкой, а не самим приложением, но более мелкие задания для тиражирования (записи ~ 10 КБ) обычно выполняются в 3 -5 секунд, большинство из которых - загрузка и чтение конфигурации.

Это также easily configurable for multi-threaded use, хотя вам придется писать некоторые из ваших собственных классов читателей и писателей, поскольку те, которые предусмотрены с помощью рамки, обычно не являются потокобезопасными.

Если у вас есть какие-либо конкретные вопросы, я был бы рад попытаться ответить на них.