Как выполнить тестирование производительности процесса ETL

Question

Меня попросили выполнить тестирование производительности процесса ETL. Я использую Jmeter для тестирования приложений веб-приложений, но это первый раз, когда меня попросили сделать это для процесса ETL. После исследования я думаю, что я хочу достичь следующих шагов, но не знаю, как их достичь.

Шагов

• Убедитесь, что загрузка данных и запросы выполняются в течение ожидаемого времени кадров
• Убедитесь, что максимальный ожидаются объем данных загружаются в течение приемлемого периода времени
• Проверки времени загрузки с различным количества данных для прогнозирования масштабируемости

Примечание: наша компания не использует никаких инструментов для тестирования процесса ETL, и они делают это с использованием ja va, поэтому для тестирования производительности также мне не будет предоставлен какой-либо платный инструмент, мне придется использовать технологии с открытым исходным кодом. В моих наборах навыков есть java, Jmeter.

Answer 1

Я думаю, что нет специального инструмента для тестирования ETL. Все еще вы можете ссылаться на файлы журналов, созданные базовым инструментом ETL, которые будут иметь использование ЦП/Исполнение/Время процесса данных и т. Д.

Answer 2

Я считаю, что нет специального инструмента для проведения тестов производительности в процессе ETL.

Но мы все же можем использовать инструмент ETL для мониторинга процесса загрузки путем создания журналов для каждого процесса, в моем случае мы используем монитор Informatica Powercenter. мы вычисляем такие параметры, как время загрузки, пропускную способность вручную через полученные журналы