TFS Автоматизированные тесты с несколькими итерациями показывают, что они прошли, даже когда вторая итерация завершилась неудачно

Question

Я работаю с окружением TFS 2017 с тестовым агентом 2015 года. До этого у нас была среда TFS 2013 с тестовым агентом 2013 и MTM (это отлично работало) ,

На данный момент мы имеем следующую задачу:

Мы проводим набор с около 40 тестов, все они имеют несколько итераций. если первая итерация не выполняется, мы видим это в tfs, состояние теста установлено на неудачу, это идеально. Однако, если первая итерация завершается успешно, а вторая не выполняется, тестовый пример установлен в TFS. Но если вторая итерация терпит неудачу, мы хотим, чтобы весь тест был отключен. Как сейчас, похоже, почти все наши тесты проходят, однако иногда многие последующие итерации терпят неудачу, что означает, что мы получаем ложные сообщения.

Когда я открываю файл .TRX, принадлежащий одной машине, я вижу, что итерации не удались, а какой удалось.

поэтому проблема в двух словах:

если первая итерация тест проходит и второй один терпит неудачу весь тест устанавливается на Пройдена вместо вышедших из строя, что дает нам ложную отчетность.

У меня нет абсолютно никакой идеи, что мы делаем неправильно. Но теперь это дает ложную информацию о наших тиражах.

Есть ли здесь люди, которые испытали ту же проблему?

Любая помощь была бы действительно оценена, поскольку я не смог найти информацию об этой теме в google.

Answer 1

Я разместил это на форуме Microsoft. Они ответили, что могут воспроизвести его, что означает, что это, вероятно, проблема в tfs/testagent. Более подробную информацию можно найти здесь:

https://social.msdn.microsoft.com/Forums/vstudio/en-US/4a384376-feae-46a9-a3da-e4445bc905d8/tfs-automated-tests-with-multiple-iterations-show-as-passed-even-when-the-second-iteration-fails?forum=tfsgeneral