Я искал около 2 недель, но, к сожалению, не нашел эффективного решения.Эффективный способ передачи автоматизированных данных управляемых тестов (csv) на vs-team-services
The UseCase не очень сложный. Постараюсь discribe коротко:
Ситуация:
Я внедрено автоматизированное C# веб-сервис тестов с использованием Microsoft.VisualStudio.TestTools.UnitTesting. Эти тесты проводятся в ночное время через Build-Job на vs-team-services. Отчет является приятным и прослеживаемым (эпический/особенность/задача -> тест -> ошибка), пока я не использую тесты, управляемые данными. (Я использовал тест-сьюты и TestCase-WorkItems и настроены «связанные автоматизации» из eacht TestCase)
Проблема заключается в том: Если я использовать тесты, управляемые данные (CSV-файлы) я могу ...
1) ... аннотировать тестовые методы в коде с помощью атрибута Testcategory и настроить тестовую сборку в сборке, которая затем будет запускать все тестовые методы с назначенной/сконфигурированной тестовой категорией. В этом случае testrun или сборка содержит отчет для каждой отдельной строки данных, что отлично. Но трассируемость полностью утрачена, потому что нет тестовых таблиц (vsts-workitems), которые могут быть связаны с задачей или ошибкой.
2) ... создать тестовый файл (workitem), добавить его в тестовый пакет/-план и настроить сборку для запуска пакета/плана. Теперь прослеживаемость «прекрасна», потому что тестовый файл может быть связан с задачей или ошибкой. Но отчет сборки содержит только один тестовый файл, даже csv-файл имеет, например. 200 строк данных. Где каждая строка данных содержит данные для одного теста. Так, например, если одна строка данных (тест) терпит неудачу, тестовый файл (vsts-workitem) потерпел неудачу, даже если 199 тестов были успешными.
Что я ищу:
Первого подход с возможностью отслеживания или вторым подходом с отчетностью для каждых данных-строки.
Мне интересно, что эта тема ранее не обсуждалась и с нетерпением ждала новых возможностей/подходов. Заранее спасибо.
Как насчет расширения пользовательской сборки с детальным результатом теста? (прочитайте подробный результат теста из файла результата, например trx) –
Я проверил файл trx, который прикреплен к тесту - ** RUN **, и он показывает мне другой результат, как это делает ** BUILD **. Вы правы, все DD-тесты показаны с его результатами. Поэтому я должен указать, что результат ** BUILD ** отличается от результата Test - ** RUN **. Я не мог найти никакой веской причины, почему это должно было быть спроектировано именно так. (Это поведение, если вы используете TestCase Workitems и связываете с ним автоматизацию.) –
Что касается ведомого теста, это всего лишь контрольная точка, хотя есть много строк данных. Таким образом, если запись не удалась, то окончательный результат не выполняется. –