Инструмент формирования отчета об испытаниях с открытым исходным кодом

Question

Фон
Отдел QA, где я работаю, имеет множество автоматических тестов Blackbox, которые взаимодействуют с нашими приложениями через графический интерфейс и командную строку. В настоящее время автоматические тесты выводят свои результаты в стандартную версию, где мы вручную вводим результат окончательного прохода/отказа в электронную таблицу.

Мы предпочли бы иметь систему, в которой автоматический тест автоматически сохраняет подробные результаты теста в файл. Тогда у нас была бы веб-страница, которую тестеры и разработчики могли бы получить для просмотра подробных результатов теста и любых необходимых вложений. Он будет генерировать отчеты о результатах тестирования по номеру проекта и версии.

Вопрос:
Какая система вы порекомендуете для создания отчета об испытаниях? Нам нужна система, в которой наши тесты будут автоматически вставляться в новые отчеты и, предпочтительно, с открытым исходным кодом. Меня интересует, что использует ваша компания или что вы нашли полезным для управления результатами тестирования.

Наш отдел QA способен создавать упрощенную версию этой системы с нуля, однако мы бы предпочли не изобретать ее повторно.

Answer 1

Мы сейчас используем Testopia. он интегрирован с Bugzilla, приятно иметь все на месте ame. Он использует тот же интерфейс API XMLRPC, что и Bugzilla.

Answer 2

reStructuredText - очень счастливая среда между письмом и официальной документацией. Существует несколько сценариев для преобразования от первого к другим форматам, например html.

В основном вы можете сохранить систему у вас на месте - вам нужно будет добавить пару тегов вокруг текста, но в отличие от HTML-тегов, это более читаемые символы. Фактически, это очень близко к уценке, которую вы используете при запросе/ответе здесь на StackOverflow.

Текст stdout остается в целом очень читаемым людьми, но тогда это так же просто, как добавление одного сценария в цепочке для визуализации в HTML или PDF, например.

This page имеет очень хороший пример того, как он выглядит в виде простого текста и визуальных форм.

Answer 3

Maven имеет обширный механизм сайта, он требует, чтобы вы согнули свою волю, так что это могло бы исключить это из-за вас.

После настройки вы получаете стандартный набор отчетов, сгенерированных в каждой сборке, которые могут быть упакованы в виде банки, если хотите, или deployed directly на сайт результатов сборки. Существуют плагины для многих основных инструментов отчетности, таких как Cobertura/Emma, ​​Junit, JDepend и т. Д.

Плагин maven-site-plugin публикует свои собственные сайты, если вы хотите have a look.