Инженеры Тест-центра CRN изучили продукты и программы работы с каналом четырех крупных поставщиков инструментальных средств Web-тестирования и попросили специалиста из компании LogiGear высказать свое мнение.
Все пакеты должны обеспечивать создание Web-сценариев, генерировать отчеты, выдавать сообщения об ошибках и в стандартной форме предоставлять результаты тестирования под нагрузкой. Каждая программа должна содержать тесты, позволяющие определить функциональные возможности приложений и их работоспособность при экстремальных нагрузках. Кроме того, инструменты, применяемые для тестирования, должны обеспечивать выполнение тестов в пакетном режиме и создавать виртуальных пользователей с интерактивными функциями.
Инженеры изучили состав и функциональные возможности каждого пакета. Тесты под нагрузкой выполнялись с участием поставщиков.
Прежде всего оценивались возможности автоматического генерирования сценариев и выполнялось регрессионное тестирование динамических сайтов. Затем каждый поставщик должен был предоставить отчеты по каждому типу тестов, в том числе отчеты об ошибках, показывающие, где произошел сбой приложения.
Кроме того, выполнялись тесты, позволяющие определить функциональные возможности ПО промежуточного слоя. Для оценки некоторых продуктов проводилось тестирование и оптимизация SQL и общей метрики БД.
Также были рассмотрены различные встроенные серверные счетчики, интегрированные в крупные серверы приложений и системные мониторы.
Все продукты тестировались в среде Windows 2000 Server.
