Брайан Келлер: «Microsoft активно использует исследовательское тестирование в своей практике»
Брайан Келлер: «Microsoft активно использует исследовательское тестирование в своей практике»

В Microsoft знают, о чем говорят, — в выпущенной в прошлом году платформе Visual Studio 2010 поддержке жизненного цикла приложений (Application Lifecycle Management, ALM) уделено значительное внимание. Причем, как отмечалось на официальном запуске Visual Studio 2010 почти год назад в Москве, в совершенствование автоматизации тестирования и ее интеграции с другими этапами разработки было вложено больше всего средств в ходе создания новой платформы.

На нынешней конференции в детали этих усовершенствований российских тестировщиков, разработчиков и их руководителей посвятил Брайан Келлер, технический евангелист Microsoft, ведущий эксперт в области ALM и Visual Studio. Он продемонстрировал возможности одного из модулей платформы — Test Manager, который не только автоматизирует многие процессы тестирования, но и поддерживает связь тестировщиков с разработчиками. Решение позволяет, например, получить полную картину произошедшей ошибки, фиксируя тестовый пример и конкретное место ошибки, а также делая мгновенный снимок системы в момент ошибки и даже видеозапись действий тестировщика. Вся эта информация передается разработчику, существенно упрощая его задачу по ликвидации проблемного места в программе. Кроме того, Test Manager автоматически фиксирует информацию об изменениях, произошедших в очередной сборке разрабатываемого продукта, и передает ее тестировщику, который сразу видит, что в новой сборке может повлиять на выполнение конкретного тестового примера. Тем самым решается одна из наиболее сложных, по словам Келлера, проблем тестирования — отследить изменения в сборках программы.

Test Manager поддерживает возможности и так называемого исследовательского тестирования (exploratory testing) — одного из новых перспективных направлений тестирования, как охарактеризовал его Келлер. Он сравнил исследовательское тестирование с экскурсией «по боковым улочкам и нехоженым тропам» приложения, если формальные методы тестирования считать основным путеводителем по нему. В исследовательском тестировании не пишутся тестовые сценарии и кейсы, а задается некая тема исследования приложения, следуя которой тестировщик пробует различные варианты работы с ним и в результате находит ошибки. Например, это может быть работа с системой с выключенным экраном, имитирующая условия слепых пользователей. Или попытка получить максимум информации о компании с ее сайта. В последнем случае в ходе исследовательского тестирования может выясниться, например, что целый ряд ссылок с данными о компании на сайте не работает. Выявленные в ходе исследовательского тестирования ошибки могут стать источником для создания новых кейсов формального плана тестирования, в приведенном примере — теста на работоспособность навигационных ссылок для веб-приложения. Успешность исследовательского тестирования определяется количеством таких кейсов.

По словам Келлера, Microsoft активно использует исследовательское тестирование в своей практике, в частности этот метод применялся при тестировании Visual Studio 2010.