Система регрессионного тестирования, которая включает в себя компиляцию результатов тестирования, тестирования и отчетности

Question

Я хочу настроить систему автоматизации для проведения ночных регрессионных тестов для инструмента командной строки в среде Linux. Есть несколько сценариев автоматизации, которые написаны на Ruby, но мне нужна полная система, которая включает в себя:

1. Создайте инструмент из базы кода.
2. Запустите сценарии автоматизации Ruby, которые у меня есть.
3. Создайте отчет об испытаниях и отправьте по электронной почте.

Характер этого командного инструмента является низкоуровневым, который касается системного оборудования. Некоторые из возможностей инструмента могут привести к сбою в работе системы. Я хочу, чтобы о таких случаях сообщалось также. Таким образом, идеальным решением может быть подключение двух компьютеров через сеть (например, ssh и т. Д.). Одна система может быть для регистрации и отчетности результатов тестирования, а другая система, в которой инструмент фактически запущен.

Оцените любые идеи, которые могут возникнуть у вас.

Answer 1

Jenkins CI-сервер должен иметь возможность делать то, что вам нужно. Возможно, вам придется выполнить какую-то работу по настройке тестовых отчетов по своему вкусу, но Дженкинс хорошо подходит для всех остальных перечисленных вами требований.

В качестве быстрого ввода я предлагаю проверить некоторые скринкасты или другие видеоролики на Jenkins - this talk - пример.