vsinstr.exe с большим исполнительным исполнением vsinstr.exe

Question

Я хотел бы использовать инструмент Visual Studio vsinstr.exe для инструментария неуправляемого исполняемого файла C++ (устаревшее приложение). Это очень большой проект, и это будет способ сопоставления нашего огромного содержимого автоматизации тестирования с фактическим кодом, чтобы определить, какие тестовые случаи затронуты, когда внесение изменений в базу кода.

Я, однако, обеспокоен выполнением такого инструментального исполняемого файла, потому что мы в основном должны запускать весь контент автоматизации тестирования, чтобы получить данные о покрытии (или обновить его при изменении кода), и это будет выполняться каждую ночь. Чтобы получить изображение, запуск автоматизации тестирования может занять 10 часов (тесты на графический интерфейс, без единичных тестов из-за устаревшей архитектуры)

Есть ли у кого-нибудь реальный опыт в отношении производительности инструментальных исполняемых файлов?

Answer 1

Я понимаю, что этот вопрос длится долго (стареет), поэтому мой ответ предназначен для других пользователей, которые спотыкаются по этому вопросу.

Из моего опыта в реальном мире инструментальные двоичные файлы выполняются значительно медленнее, часто по порядку величины. Тем не менее, у меня есть только инструментальные исполняемые файлы MANAGED, и OP специально указал неуправляемый C++, поэтому «ваш пробег может отличаться».

Мое предложение состояло в том, чтобы запустить подмножество тестов, которые занимают 2-3 минуты. Запустите это подмножество 3 раза и сравните фактические результаты времени выполнения. Затем обработайте двоичные файлы и выполните те же тесты 3 раза и вычислите среднее значение. Меньше тестов и данные могут быть искажены из-за инициализации приложения. Больше тестов, и вы МОЖЕТЕ в конечном итоге ждать час для каждого инструментального теста.