Опыт автоматизации тестирования FX

Question

Глядя на добавление тестирования пользовательского интерфейса в проект WinForms 3.5. В настоящее время используется MSTest для модульного тестирования и MSBuild для его создания.

Один из вариантов, который я рассматриваю, - Test Automation FX.

Продукт кажется немного новым и не полностью отполирован, но, похоже, он работает. Поэтому мне любопытно, если кто-то еще использует и имеет хорошие или плохие вещи, чтобы сказать об этом.

Это немного дешевле в цене ($ 450), чем Test Complete ($ 2000), поэтому я также пытаюсь выяснить, чего не хватает или отсутствует, если что-либо, от Test Automation FX.

Answer 1

Компания, я работаю для использования SilkTest, которая работает очень хорошо. В общем, при использовании автоматического тестирования вы будете проводить множество регрессионных тестов. Что более важно, когда вы изменили существующий проект, тогда тестовое программное обеспечение все равно сможет выполнять эти тесты без каких-либо ошибок. (Или, с ошибками, которые вы ожидаете.)

Но на рынке есть много и много других тестовых решений. Раньше я даже видел тестовую установку, в которой требовалось два компьютера и дополнительное оборудование. Аппаратное обеспечение будет подключаться к монитору, мыши и клавиатуре тестовой системы. Другой конец будет подключен к специальной карте расширения на тестовом сервере. Аппаратное обеспечение было таким, чтобы сервер мог отправлять команды клавиатуры в тестовую систему и записывать все, что было на экране. С помощью некоторого дополнительного программного обеспечения OCR он очень хорошо разбирался в любых ошибках. Опять же, у него была цена шести цифр, и, честно говоря, я бы предпочел купить Porsche по этой цене и, вероятно, оставил бы наличные деньги, чтобы принести мне две красивые даты, проезжая по бульварам в Ницце, Франция. .

Есть страница Wiki с обзором всех видов тестового программного обеспечения. Он не сравнивает их, но вы можете найти там Test Automation FX, хотя он не содержит много информации. Кажется, это ограничивается тестированием только графического интерфейса Windows. TestComplete содержит дополнительную информацию. Опять же, сравнивая Wiki, он также поддерживает намного больше. На самом деле намного больше. Достаточно, чтобы объяснить, почему это так дорого ...

Answer 2

Я только что начал оценивать различные инструменты для автоматизации автоматизации графического интерфейса. Я просмотрел Test Automation FX, Ranorex и TestComplete. И цена на программное обеспечение в этом порядке.

Это некоторые из моих выводов:

Test Automation FX - Кодовый в C#, полностью интегрированный VS. Но очень медленно в поиске компонентов и занимает много памяти и не полностью поддерживает компоненты DevExpress.

Ranorex - Coded in C#, есть студия для тестирования, но может быть полностью интегрирована в VS. Улучшена поддержка объектов. И вы можете найти объекты в своем программном обеспечении с помощью выражения regex по нескольким причинам. У некоторых проблем с компонентами DevExpress, но довольно быстро работать.

TestComplete - использует свой язык скриптов. VBscript - самый простой (C# Script - просто неудобная нотация). Это действительно хорошая поддержка компонентов DevExpress и очень быстро запускает тест. Но очень интенсивно

Прямо сейчас я не знаю, что я должен использовать. Ranorex alite лучше, чем Test Automation FX, но обе они не имеют полной поддержки компонентов DevExpress. TestComplete хорош, но он вводит новый язык для разработки и очень дорог. Но тестовые скрипты невелики, и программа имеет больше логики в поиске очень щелчка.

Answer 3

Я оценил автоматизацию тестирования Fx, хотя он распознает все элементы управления моего приложения (мы используем сторонние элементы управления от infragistics, т. Е. Элементы управления netAdvantage для WPF) Очень медленно распознавать элементы управления и даже время воспроизведения довольно медленно по сравнению с QTP или Ranorex. Я бы порекомендовал Ranorex над Test Automation Fx.

Answer 4

Я недавно прошел процесс выбора решения для тестирования графического интерфейса пользователя и, наконец, решил перейти на TestAutomationFX. Вот основные причины, которые я сделал этот выбор:

• Это создает реальный код (в моем случае C#), который является бесценным для меня: для maintenability, archivability, гибкости и так далее. На C# гораздо проще писать (я могу попросить моих разработчиков для поддержки), чем на собственном языке скриптов, который мне пришлось бы изучать с нуля (или, что еще хуже: бесконечные сетки не-maintanable dropboxes). Это также позволяет мне создать хорошую тестовую среду.
• Имеет бесшовную интеграцию с NUnit (что моя команда использует для тестов на единицу и интеграцию). Мой тест с данными основан на одних и тех же CSV-файлах, а отчеты об испытаниях GUI просто добавляются к отчетам о единичных тестах, обеспечивая легкое архивирование и обслуживание.
• Он имеет гораздо лучшее признание сложных объектов пользовательского интерфейса, которые используют мои разработчики (Telerik, Infragistic,): 25% моих кликов находятся в режиме x/y, против 67% с TestComplete или Ranorex
• Их инженеры по продажам оказали мне отличную поддержку (по крайней мере, в течение оценочного периода)
• У этого нет серьезных ошибок или сложных (да, я смотрю на вас, ребята TestComplete, see my other post), никаких проблем с лицензией во время выполнения, никаких проблем с лицензированием виртуальной машины
• (хотя для меня это было не так важно), это четыре раз дешевле, чем в других коммерческих решениях

С другой стороны, есть средний недостаток в применении:

• Система отображения (то есть. сопоставление свойств AUT-объекта с объектами Test-application) очень обидно: рефакторинг кода требует особого внимания. Я преодолеваю это, выполняя свой VCS перед каждым рефакторингом кода. В любом случае, testComplete предоставляет возможность рефакторинга кода.

ОК, как вы можете видеть, я довольно ethusiast с этим решением. Я использую его всего несколько дней и позже могу столкнуться с большими проблемами. Но сейчас это дает мне именно то, что я хотел, поэтому позвольте мне быть счастливым :)