1

Я ищу инструмент, который я могу интегрировать в наш процесс CI, чтобы отслеживать шаги, которые мы делаем вручную.Есть ли инструмент для отслеживания ручных шагов в процессе CI или CD?

В качестве примера мы хотим запустить некоторые ручные тестовые сценарии на сервере интеграции, прежде чем нажимать версию на тестовый сервер. В настоящее время QA получает уведомление, когда сборка выполнена, выполняется ручное тестирование, а затем говорит кому-то нажать версию для проверки, если все в порядке.

Что бы я хотел найти, это то, что будет отслеживать, когда ручные тесты были успешно завершены и автоматически нажмите версию для тестирования.

Должно быть возможно уведомлять/запускать инструмент из Visual Studio Online, а также запускать следующий шаг в VSO.

Я искал разные вещи, но не могу найти ничего близкого к тому, что я ищу. Инструменты списка Todo, такие как Asana, похоже, не имеют точки интеграции, в которой мы нуждаемся, но, возможно, я просто что-то упустил?

+0

Не можете ли вы автоматизировать выполнение этих задач? Почему требуется, чтобы кто-то вручную запускал скрипты? –

+0

извините, это не скрипты, как в коде, а ручные тестовые сценарии. Основная проблема прямо сейчас заключается в загрузке файла через пользовательский интерфейс, ожидании его обработки и проверки правильности результата.Первый шаг вызывает у нас проблемы, и последняя проверка всегда может быть выполнена человеком –

+0

«Основная проблема сейчас - загрузить файл через пользовательский интерфейс, ожидая его обработки и посмотреть, правильно ли результат. " -> Есть ли причина, по которой вы не можете загрузить ее через API? –

ответ

0

Вы можете попробовать с помощью инструмента Release Management в VSTS. Он может обеспечить частичные функции, которые вы хотите.

Я предполагаю, что у вас есть три шага в вашем определении сборки:

  1. Построить решение
  2. Публикации на сервер интеграции
  3. Публикации на тестовый сервер

Вы можете сохранить первые два шага в определении сборки. А затем создайте определение выпуска в Release Management и добавьте в него третьи шаги. Настройте определение на «Непрерывное развертывание» и привяжите его к определению сборки. Назначьте свой QA в качестве утверждающего для этой задачи выпуска. Теперь задание на выпуск будет создано сразу после завершения задачи сборки. Но он будет зависеть от одобрения (вашего QA). Утвердить задачу выпуска после прохождения теста, сборка будет опубликована на тестовом сервере. В противном случае отклоните его.

+0

Похоже, это может сработать. Одна вещь, которая может отсутствовать, - это фактически отслеживать шаги, которые делают QAs. В настоящее время мы используем TestRails, так что, возможно, есть путь от testrails, чтобы инициировать утверждение в VSO? –

+0

Нет, на данный момент нет никакого способа сделать это. –

+1

Эдди, вы можете сделать это с помощью VSTS! –

1

Вы можете использовать новые средства управления версиями в сочетании с тестовыми примерами, чтобы получить то, что вы хотите.

В VSTS вы можете создавать тестовые примеры, чтобы отобразить шаги тестов, которые вы хотите, а затем создать план тестирования или костюм, чтобы отобразить список тестов, которые необходимо выполнить вручную.

Затем в рамках процесса выпуска вы можете создать настраиваемую задачу, ожидающую завершения тестового прогона по вашему списку. Если этот тестовый прогон все пройдет, перейдите к следующему шагу, если какие-либо тесты не пройдут, а затем выпустите выпуск.

Это должно быть довольно прост в установке, и вам нужно позвонить API, чтобы проверить тестовый прогон. Если ваши тестеры используют Microsoft Test Manager, вы также можете получить результаты, связанные со сборкой, которую вы развертываете, и получить полную прослеживаемость.

+0

спасибо @MrHinsh. Я думаю, что это зависит от всех наших тестов в VSTS? мы посмотрели, но не можем понять, как это сделать. Все наши тестовые комплекты находятся в TestRails, а истории/ошибки находятся в Jira, поэтому, вероятно, было бы больше усилий переместить все на VSO, чтобы избежать ручного процесса :) –