Аутсорсинг тестирования программного обеспечения

© Алексей Лукутин
Статья была опубликована в PCWeek RE № 40(310), 2001

Едва ли вам много приходилось читать о тестировании, тем более об аутсорсинге тестирования. Российская периодическая пресса не балует читателя такого рода информацией. То же можно сказать и о книгах — в бесконечном потоке литературы по Windows, Linux, Cи++, Java, обрушившемся на читателя в последние годы, с трудом можно найти несколько изданий, посвященных этому жизненно важному этапу в разработке программного обеспечения. Данный факт свидетельствует о том, что вопросы качества ПО в постсоветской России были отодвинуты на второй план более насущными проблемами. С наступлением зрелости ИТ-отрасли приоритеты меняются. Качество продукта начинает играть ключевую роль в обеспечении продаж, что заставляет руководителей уделять ему пристальное внимание. Кроме того, нахлынувший интерес к офшорному программированию побудил разработчиков ПО получать сертификаты ISO 9001, CMM, дающие “зеленый свет” компаниям для выхода на мировой рынок. Однако на формирование новых производственных процессов, соответствующих требованиям стандартов качества, может понадобиться от нескольких месяцев до нескольких лет непрерывной работы. Большинство стандартов говорят о том, что должно быть получено, но не описывают как это сделать. Учитывая, что тестирование продукции является одной из ключевых составляющих любого стандарта качества, при налаживании процесса производства качественного ПО целесообразно воспользоваться услугами аутсорсинга тестирования. Встает вопрос: что такое аутсорсинг и как получить от него наибольший эффект? Рассмотрим этот вопрос подробнее.

История независимого тестирования

Термин “аутсорсинг тестирования” появился в нашем лексиконе не так давно, заменив более привычное для нас выражение “независимое тестирование”. Последнее предполагает, что тестирование проводится силами дополнительно привлеченной компании или группы людей, не участвующих непосредственно в разработке программного обеспечения. Еще не так давно (до середины 80-х годов) независимое тестирование считалось единственным объективным способом оценки качества программного продукта. В книге Глендфорда Майерса “Искусство тестирования ПО” приводится следующий пример: ВВС США при разработке ПО ввели в практику заключение отдельных контрактов с компанией-разработчиком и компанией-тестером. Впоследствии ВВС создала отдельную компанию для проведения тестирования и испытаний ПО. Такой подход получил высокую оценку и был признан единственно верным при разработке критически важных приложений.

Ситуация стала меняться в начале 90-х годов. На это время приходится расцвет объектно-ориентированного подхода к разработке ПО. Именно тогда создаются и получают популярность стандарты ISO и CMM. У разработчиков возникает иллюзия, что можно обойтись без независимых тестовых агентств, что передовые средства разработки и методы управления дадут небывалый прирост качества. К концу 90-х эйфория проходит, несмотря на то, что качество ПО действительно удалось повысить. В чем причина изменения настроения? Видимо, в том, что разработчики столкнулись с новыми проблемами — высокими темпами разработки, часто изменяемыми требованиями к ПО, работе в Интернете, нехваткой ресурсов. Сложность программных систем возрастает многократно. Стандарты и методики разработки отстают от требований рынка. Вот почему начинается поиск новых решений, благодаря Интернету набирает силу глобализация разработки ПО, активно используется аутсорсинг. В настоящее время независимое тестирование приняло новые формы, адаптировалось к реалиям нового века.

Тестовые агентства

Современный аутсорсинг тестирования выделился в отдельную отрасль ИТ. На Западе она называется Software Testing & Quality Assurance, что на русский язык принято переводить как “тестирование и обеспечение качества ПО”. На североамериканском и европейском рынках работают десятки компаний, предоставляющих подобного рода услуги. Решение проблемы 2000 г. развило эту отрасль также и в Индии.

Следует отметить, что каждое тестовое агентство специализируется на том или ином виде услуг. Как правило, небольшие фирмы осваивают достаточно узкую область, например, проверку эргономических характеристик ПО, в то время как более крупные компании предлагают полный набор тестовых исследований.

Виды тестовых исследований

Область обеспечения качества ПО и тестирования, в частности, — очень обширна. В самом общем виде все тестовые исследования имеет смысл разделить на две большие группы.

К первой относятся функциональные тесты, т. е. имеющие отношение к рабочей функциональности программного обеспечения, заложенной в ТЗ. Одной из разновидностей функционального тестирования является приемочное тестирование, или приемосдаточные испытания. Функциональные тесты имеют первоочередное значение для обеспечения качества продукта, поэтому разработчики ПО уделяют им особое внимание. Как правило, отделы тестирования компаний проводят именно такие тесты, поэтому аутсорсинг функционального тестирования не является в настоящий момент самым популярным. Однако статистика показывает, что проведение дополнительного независимого тестирования позволяет уменьшить количество дефектов в 3—30 раз в зависимости от качества исходной системы.

Ко второй группе относятся тесты на все, что не входит в основную функциональность ПО: эргономичность, производительность, безопасность, надежность и т. д. Ни для кого не секрет, что на этапе разработки ТЗ многие аспекты работы программы упускаются из вида, подразумеваются неявно, или же требования меняются в процессе разработки, но не документируются. Причем чем больше программная система, тем больше таких упущений. Например, программа проектировалась для работы в локальной сети, а затем к ней добавили модуль доступа в Интернет. К первоначальной системе не предъявлялось высоких требований по безопасности и отказоустойчивости, но в результате расширения функциональности эти требования стали критически важными.

В результате наиболее популярной услугой при аутсорсинге тестирования является исследование производительности, надежности и нагрузочных характеристик ПО. Причина очевидна — это развитие клиент-серверных систем и Интернет-приложений. Системы, построенные в данной архитектуре, имеют несколько узких мест. Как правило, это серверы баз данных и приложений, а также средства коммуникаций. Клиент-серверные системы работают в многопользовательском режиме, поэтому вопросы надежности и нагрузочной способности для них приобретают особое значение. Стоимость сбоя серверной программы несоизмеримо выше стоимости сбоя клиентского приложения. Поэтому дополнительное проведение тестирования такой системы на надежность экономически оправдано.

С тестированием на надежность тесно связано тестирование на производительность. Обычно разработчики пытаются вложить в программу максимум возможностей, что не так уж и плохо, пока не возникает необходимость подключить к системе несколько сотен или тысяч пользователей. В этом случае программа может оказаться неработоспособной и потребуется как минимум оптимизация ее работы, а как максимум — перепроектирование системы в целом. Поэтому проведение тестов на производительность является архиважным как на этапе разработки требований и архитектуры системы, так и во время приемочных испытаний. Как правило, разработчики не обладают достаточной квалификацией и ресурсами для проведения полномасштабного нагрузочного тестирования, и в этом случае аутсорсинг тестирования является не только экономически более эффективным, но зачастую и единственно возможным способом проверки ПО.

На что следует обратить внимание при аутсорсинге тестирования

Руководитель, собирающийся провести независимое тестирование программного продукта, должен осознавать, что наиболее успешных результатов можно достичь только при выполнении определенных условий. Качество проводимого тестирования напрямую зависит от того объема информации о продукте, который разработчик может передать тестовому агентству. Чем больше будет предоставлено информации, тем качественнее можно подготовить требования к тестированию, тем большее число дефектов удастся выявить. Понятно, что организации с хорошо налаженным процессом производства, соответствующим, например, ISO 9001, получат максимальную выгоду.

Однако к аутсорсингу тестирования часто прибегают именно те компании, где формализация требований к ПО либо отсутствует, либо требования документированы в очень общем виде. Следует помнить, что в этом случае от тестового агентства потребуются дополнительные усилия и время на знакомство с продуктом, поэтому планировать начало работы с тестерами нужно заблаговременно, не дожидаясь окончания кодирования последней функции в программе. По этой причине целесообразно выяснить, какую методику намерены использовать тестеры, какие требования будут предъявляться к функциональности продукта. Невнятный ответ на данный вопрос поставит под сомнение качество тестирования.

Еще одним важным моментом работы с тестовым агентством является установление процедуры взаимодействия и обмена информацией. Необходимо определить, каковы должны быть способы передачи информации, формат описания обнаруженных дефектов, способы импорта/экспорта данных между информационными системами учета ошибок и требований к ПО, обеспечение конфиденциальности и пр. Неменьшее значение имеет и процедура управления проведением тестирования, регулярная отчетность о выполнении работ.

К сожалению, в данной статье невозможно подробно рассмотреть все вопросы и проблематику взаимодействия с тестовым агентством, можно лишь дать основные направления, на которые имеет смысл обратить внимание руководителю ИТ-подразделения, отвечающего за качество работы программной системы.