Платформа тестирования .NET с параллельными тестовыми шкафами

Question

У меня есть модульные тесты в моем проекте C# (VisualStudio 2015, Nunit). Я хочу проверить методы во многих разных ситуациях с разными параметрами, для этого я использовал TestCases. Каждый метод тестирования работает очень медленно - несколько секунд, а число TestCases в моих проектах растет.

Итак, теперь тестирование занимает несколько минут. Я попытался провести параллельные эти тесты, переместив каждый тест на разделение TestFixture - Nunit позволяет параллельно запускать TestFixtures - Nunit Documentation. Это немного изменило ситуацию, но не значительно. Я хочу проводить параллельные тесты не на уровне TestFixture, а на уровне тестовых регистров. Я не знаю, как это сделать. Я прочитал документацию для Nunit, Xunit, MBUnit и т. Д. И не нашел ответа.

Как я могу запускать свои тесты параллельно, таким образом, чтобы тестовые окна запускались одновременно? Какую структуру использовать?

Мои тесты пример псевдокода:

public static class GeneralTestCases 
{ 
    public static IEnumerable TestStoresCredentials 
    { 
     get 
     { 
      yield return new TestCaseData(...).SetName("incorrect password"); 
      ... 
      yield return new TestCaseData(...).SetName("incorrect login"); 
     } 
    } 
} 

[ TestFixture ] 
[ Parallelizable ] 
internal class GetProducts : BaseTest 
{ 
    [ Test ] 
    [ TestCaseSource(typeof(GeneralTestCases), "TestCases") ] 
    public void ReceiveProducts(TestCase case) 
    { 
     // ------------ Arrange 
     var service = CreateService(case.User, case.Key, ...); 

     // ------------ Act 
     var serviceResponse = service.GetProducts(case.SpecialType); 

     // ------------ Assert 
     ... 
     serviceResponse.Message.Should().NotBeNullOrEmpty(); 
     ... 
    } 
} 


[ TestFixture ] 
[ Parallelizable ] 
internal class GetOrders : BaseTest 
{ 
    [ Test ] 
    [ TestCaseSource(typeof(GeneralTestCases), "TestCases") ] 
    public void ReceiveOrders(TestCase case) 
    { 
     // ------------ Arrange 
     var service = CreateService(case.User, case.Key, ...); 

     // ------------ Act 
     var serviceResponse = service.GetOrders(case.SpecialType); 

     // ------------ Assert 
     ... 
     serviceResponse.Message.Should().NotBeNullOrEmpty(); 
     ... 
    } 
} 

Update1: Я думаю о nCrunch, но я не это поможет или нет

Answer 1

XUnit запускает каждый тестовый класс (тестовый сбор) параллельно по умолчанию.

Подробнее here.

Answer 2

После некоторого исследования я нашел 2 способа одновременного запуска тестов.

1. Nunit + Ncrunch позволяет запускать тесты параллельно (тестовые случаи распараллеливание поддерживается). Но для меня это не удобно. I не нравится графический интерфейс Ncrunch, и требуется время, чтобы сконфигурировать его в правильном порядке (длинные настройки пороговых значений тестов, настройки многопоточности и т. Д.). Также Ncrunch не является бесплатным.
2. Nunit + Nunit tests runner console. Я выбираю этот путь. Он позволяет выполнять параллельно, он бесплатный, легко конфигурируется, может быть запущен с консоли. Вы можете настроить параллельное выполнение нескольких тестов в одном окне с коносом или запустить несколько консолей, каждый из которых выполняет 1 тест во время

Answer 3

Я сделал это с помощью NUnit. У меня есть рабочий проект, который выполняет тесты браузера на уровне метода.

https://github.com/atmakur/WebTestingFramework