ETL vs Workflow Management и какие применять? Можно ли их использовать одинаково?

Question

Я нахожусь в процессе создания конвейера данных для клиента. Я потратил много лет на анализ, но теперь я работаю с небольшим магазином, который действительно имеет производственную среду. Первое, что мы сделали, это создать реплицированный экземпляр производства, но я хотел бы применить своего рода менталитет хранилища данных, чтобы сделать часть анализа проще.

Мой вопрос сводится к тому, какой инструмент использовать? Кроме того, почему? Я рассматривал такие решения, как Talened для ETL, но также очень заинтересован в Airflow. Проблема в том, что я не совсем уверен, что лучше всего подходит моим потребностям. Я хотел бы легко контролировать и создавать новые рабочие места (я пишу питона довольно свободно, так создание новых рабочих мест Воздушный поток не является проблемой), но и быть в состоянии преобразовать данные, как это происходит в.

Любые предложения очень ценятся

Answer 1

Учтите, что открытый источник talend (Talend Open Studio) не предоставляет возможности мониторинга/планирования. Это всего лишь «генератор кода». Более сложная инфраструктура является частью корпоративных изданий.