vstest.console.exe случайно пропустил некоторые тесты

Question

Я настраиваю модульные тесты для выполнения на сервере сборки (Jenkins).

Я заметил, что иногда vstest решает проигнорировать некоторые из моих тестов. Они не пропущены или не сработали. Их просто игнорируют, как будто их там не было. Я снова запускаю тестовую сборку без каких-либо изменений, и проблема уходит.

• В консольном журнале, похоже, не обнаружены ошибки vstest. Похоже, что тестовый прогон завершился нормально, только с неправильным количеством полных тестов.
• Я проверил тестовую сборку с декомпилятором, и все методы тестирования есть.
• TRX выходной файл выглядит полным и действительным.

В графе тренда ниже красный не работает, пропускается синий цвет. Обратите внимание на падение на # 78? Вот где я пропускаю 3 из 13 тестов:

И здесь vstest резюме из двух последовательных сборок, без каких-либо изменений между ними:

# 78:Total tests: 10. Passed: 6. Failed: 4. Skipped: 0.

# 79:Total tests: 13. Passed: 9. Failed: 4. Skipped: 0.

Неужели кто-нибудь сталкивался с чем-то подобным? Должен ли я подумать о том, что вы хотите использовать более надежную систему тестирования, прежде чем я получу слишком глубокое укоренение в этом?

Answer 1

Извините за ошибку. Это регрессия в VS 2015. Я исправил эту ошибку в январе, и исправление будет включено в VS 2015 Update 2. (Я инженер-программист в Microsoft.) Тесты действительно выполняются, но результаты были отправлены асинхронно и иногда мы закрывали процесс тестового хоста, прежде чем все результаты были отправлены обратно в тестовый процесс.