Выполнение и представление результатов при тестировании Blackbox

Question

Я разработал тестовую среду Blackbox в Python 3.2 для тестирования части оборудования. В этой среде у меня есть модуль TestExecution.py где я бегу моих тестов следующим образом:

while(True): 
    TestWithRestart("Test122") 
    TestWithRestart("Test123",keys="invalid_keys.dat") 
    TestWithOneComPort("Test200", keys="invalid_keys.dat") 
    TestWithTwoComPorts("Test200") 
    TestWithTwoComPorts("Test200", ppc_simulation_script="Test200.pcc") 
    TestWithNoComPort() 
    TestTime("Test500") 
    Test600() 
    TestWithComPortNoise("Test600") 
    TestWithComPortInteruption("Test601") 

Каждый тест аппаратного релиз I представлен на моем компьютере, по своей собственной папке Test Environment. Эта папка содержит журналы, ключи и TestExecution.py. Каждый тестовый пример имеет свою собственную папку результатов, и в этой папке у меня есть папки журналов для каждого запуска теста.

Возможно также, что мне нужно разработать новые тесты для нового выпуска оборудования. В этом случае это может предпринять многочисленные попытки, пока я не получу этот тест для правильной работы.

Что касается состояния прохождения/неудачи теста, я делаю это, вручную проверяя мои файлы журналов. Следующим улучшением будет автоматизация процесса установления, если тест прошел или нет. Для этого я напишу отдельные классы. Этот процесс будет продолжаться.

Мне интересно, могу ли я интегрировать свою среду с программным обеспечением непрерывной интеграции, чтобы представить как выполнение теста, так и/или результаты в красивой графической форме. Также было бы неплохо выбрать те тесты, которые я хочу выполнить. Какое программное обеспечение с открытым исходным кодом вы порекомендуете?

Спасибо,

Barry

Answer 1

Jenkins. Например, вы можете сбросить результаты теста в формате JUnit XML и Jenkins will automatically produce nice graphs.

Плагины зависит от ваших потребностей, конечно, но вот список основных плагинов плюс мои любимые (некоторые из них поставляются в базовом пакете):

• Ant
• управления версиями интеграция плагинов (как Subversion, зависит от того, что вы используете)
• Parameterized Trigger Plugin
• Build Timeout Plugin
• Log Parser Plugin
• Regex Email Plugin
• Artifact Deployer Plugin
• Extended e-mail Plugin

Как программист Python вы также извлечь большую пользу из Python Jenkins API Wrapper.

В целом, однако, будьте осторожны с плагинами: иногда они нестабильны и/или не работают должным образом. Посмотрите на историю изменений плагина, как правило, можете сказать вам, если он хорошо поддерживается.

Вы можете установить Jenkins на свой компьютер и сыграть с ним в течение нескольких дней, прежде чем принимать решение о том, соответствует ли оно вашим потребностям.