Atesto Performance Suite 3.0
Atesto Technologies
Фримонт, шт. Калифорния
Цена: 50 тыс. долл.
Требования к авторизации: нет
www.atesto.com
Компания Atesto разработала интегрированный пакет тестирования, доступ к которому осуществляется через Web-портал. Вендор также поставляет версию для корпоративных сетей, обладающую всеми функциями базового продукта и снабженную Web-интерфейсом. Администрирование корпоративной версии можно осуществлять из центрального офиса либо из филиалов, что обеспечивает возможность коллективной работы всех сотрудников компании.
В отличие от конкурентов Atesto предлагает модель глобального лицензирования, которая позволяет установить ее пакет Performance Suite Enterprise Edition в любом офисе корпорации. Пользователи из других офисов могут работать на основе той же лицензии без переустановки продукта. Лицензионные ключи не привязаны к каким-либо конкретным серверам или пользователям.
Каждому тесту, выполняемому пакетом Performance Suite, присваивается уникальный номер, что обеспечивает независимость тестов от используемого ПК. Единственное требование — наличие браузера Internet Explorer версии 5.5 или выше, что необходимо для создания сценариев тестирования.
Интерфейс ПО Atesto прост, благодаря чему программу несложно освоить. Создание сценариев автоматизировано, и большая часть кодирования скрыта от пользователя. Достаточно выделить любую текстовую область на Web-странице, и Performance Suite сгенерирует код сценария, чтобы проверить этот текст в ходе последующих «прогонов». При выполнении тестов программа сама определяет параметры сеанса, а сценарии могут быть использованы другими пользователями либо изменены.
Пакет Atesto выдает отчеты о времени отклика, показывающие производительность приложения в зависимости от нагрузки. Для сложной метрики можно создать составные отчеты, сведя два отдельных отчета в один. Это делается для того, чтобы построить ассоциации между отдельными метриками. Можно также выполнить тестирование из различных городов, моделируя реальные условия работы.
Реселлеры, желающие создать собственные отчеты, могут загрузить необработанные данные, полученные в результате тестирования.
В корпоративную версию входит специальная программа, которая следит за различными счетчиками на сервере приложений и в БД. Пакет Atesto может следить за разными аспектами поведения приложения изнутри корпоративной сети, однако обладает ограниченными возможностями по оценке функциональности. Текущая версия не способна выявлять ошибки в исходном коде.
Если тестирование проводится в нерабочие часы, то можно послать уведомления по электронной почте или на пейджер. Кроме того, компания предлагает схему мониторинга в режиме 24x7, позволяющую использовать любые тесты, так что оценка Web-ресурсов и анализ результатов тестирования могут вестись непрерывно. Каждая транзакция контролируется отдельно.
Empirix e-Test Suite 6.0
Empirix
Уолтхэм, шт. Массачусетс
Цена: 23 990 долл.
Требования к авторизации: нет
www.empirix.com
Из рассмотренных в настоящем обзоре пакетов у ПО e-Test Suite фирмы Empirix оказался самый лучший интерфейс для создания сценариев тестирования. При навигации пользователей по Web-узлу компонент e-Tester осуществляет поиск и идентификацию элементов, форм, фреймов и HTML-кода. Java-апплеты, сценарии JavaScript и VBScript и элементы управления ActiveX могут быть обнаружены и записаны без всякого кодирования. Для формирования тестов с использованием данных не требуется никакого программирования, так как e-Tester поставляется с «мастером», создающим такие тесты для Web-приложений.
Пакет содержит простой диспетчер e-Manager с «мастером», который позволяет осуществлять планирование и мониторинг сценариев и посылает уведомления об ошибках по электронной почте. Диспетчер может выполнять сразу несколько заданий и использовать VBA-код для настройки сообщений об ошибках. Модуль ServerStats осуществляет мониторинг работающих на сервере приложений и БД и, кроме того, собирает статистику с серверов ATG Dynamo, BroadVision, WebLogic и IIS.
Программа может получить показатели счетчиков общей производительности от каждого из этих продуктов. Empirix обеспечила простой мониторинг любого приложения или Web-сервера. Индикаторы счетчиков сгруппированы отдельно по каждому физическому серверу. Также ServerStats непрерывно выводит статистику ЦП и памяти для всех серверов, на которых выполняются приложения. Наконец, программа может выдавать сигнал при достижении счетчиком производительности сервера заданных значений.
Для каждого компонента пакета существует набор типовых отчетов, но при необходимости можно получить любой нестандартный отчет. Эту задачу выполняет специальный модуль e-Reporter с помощью «мастера» запросов. Для создания запросов используется формат XML. Отчеты хранятся в виде простых таблиц MS Access, но могут быть экспортированы в SQL Server и обработаны в нем. В модуль отчетности входит Web-агент, который запускается в Web-сервере и переводит некоторые отчеты в формат HTML.
Модуль e-Load, предназначенный для тестирования работы под нагрузкой, дает возможность смоделировать реальные условия работы, создав профили виртуальных пользователей и сценарии для каждого теста. Программа не полагается просто на трафик HTTP, а, используя собственный инструмент Visual Script, записывает и выводит реальные страницы в Web-браузере.
Виртуальные пользователи в программе e-Load имитируют загрузку страниц с Web-сервера, используя браузеры Internet Explorer и Netscape. Помимо задания числа виртуальных пользователей, сценарии позволяют моделировать динамические условия, предоставляя доступ к данным, которые служат параметрами для Web-приложения. Программа e-Load также оснащена функцией IP-спуфинга (имитация соединения), которая присваивает каждому виртуальному пользователю уникальный IP-адрес.
e-Load признана лучшим инструментом тестирования под нагрузкой среди всех рассмотренных в настоящем обзоре. Программа позволяет моделировать широкий спектр условий работы реальных пользователей.
Пакет e-Test оказался также единственным инструментом в обзоре, который обеспечивал мониторинг беспроводных приложений. Модуль Visual Script способен записывать код WML при навигации по WAP-приложению с помощью беспроводного браузера. Программа e-Tester позволяет использовать для этой цели эмуляторы WAP-браузера Nokia 2.0 или 2.1, Openwave 4.1 и Phone.com 4.0. После того как создан сценарий, можно задействовать все остальные инструменты для тестирования приложения.
Parasoft WebKing, Jtest, SOAPtest
Parasoft
Монровиа, шт. Калифорния
Цена: WebKing — 3995 долл., Jtest — 3495 долл.,
SOAPtest — нет данных.
Требования к авторизации: нет
www.parasoft.com
Parasoft — один из немногих поставщиков программ Web-тестирования, действительно предлагающих инструменты для анализа серверов приложений и БД.
Проверка HTML- или JavaScript-кода не всегда выявляет ошибки в исходном коде сервера приложений или БД. Для этого необходим инструмент, работающий на уровне блока или класса, такой как Jtest компании Parasoft. Jtest выполняет статический анализ файлов классов, тестирование методом «черного» и «белого ящика», а также регрессионное тестирование J2EE-совместимых файлов исходного Java-кода и классификационных файлов.
В процессе статического анализа Jtest оценивает код, исходя из принятых в отрасли стандартов кодирования, таких как цикломатическая сложность или безопасность класса. По каждому выявленному несоответствию может быть указана строка кода, где возникла ошибка, а также вызванный метод. Для надежного тестирования методом «белого ящика» каждая строка кода должна быть выполнена хотя бы один раз. Jtest предельно упрощает подготовку таких тестов, автоматически генерируя массивы тестовых данных на основе байт-кода в классификационных файлах. Такое структурированное тестирование позволяет установить, какой компонент вызвал сбой и какая строка кода ответственна за ошибку.
Parasoft поставляет также инструмент под названием DataRecon, служащий для проверки синтаксиса SQL. DataRecon может оценить эффективность оператора запроса независимо от того, был ли он сгенерирован вызовом ODBC или JDBC. Кроме того, мгновенно выявляются любые изменения, сделанные в БД при переходе ПО от стадии разработки к стадии производства. Консультанты, тестирующие приложение, не всегда находят структурные изменения, внесенные в БД их клиентами. Используя DataRecon для проверки структуры БД, консультант сможет обнаружить и просмотреть в графическом виде любые внесенные в схему изменения.
Компонент WebKing — это, по сути, командный центр всего пакета Parasoft. Он выполняет статический и динамический анализ HTML- и JavaScript-файлов. Среди типичных тестов структуры Web-узла — поиск орфографических ошибок и искажений кода, проверка оптимальности XML-структур, а также XML-кода на предмет описаний типа документов (DTD). Все тесты HTML и XML построены на основе стандартов W3C, а тесты JavaScript — на стандартах ECMA. Программа также содержит интерактивную справочную систему, поясняющую любые отступления от стандартов кодирования, которые будут выявлены в ходе тестирования Web-узла.
WebKing позволяет выполнять тесты с расчетной нагрузкой и так называемые стрессовые тесты, когда нагрузка превышает расчетные значения. Программа может генерировать гистограммы разных уровней нагрузки и строить графики данных для различных сценариев. При работе с WebKing с помощью модуля Site Workout легко управлять параметрами всех виртуальных пользователей и их поведением. Модуль дает возможность имитировать поведение реального пользователя, обеспечивая задержку и произвольный доступ к любой указанной области Web-узла.
Можно повторно использовать одну и ту же схему нагрузки, просто переведя тест на другой сервер. Программа позволяет постепенно добавлять виртуальных пользователей, чтобы протестировать нагрузку на Web-приложение. Кроме виртуальных пользователей можно сконфигурировать различные клиентские части, работающие с разной скоростью соединения, моделируя 56K-модем, кабельную линию, DSL или T1.
WebKing генерирует отчеты регрессионных данных по любым изменениям, внесенным в HTML-страницы, а при возникновении ошибок позволяет вносить изменения «на лету».
Последний предложенный компанией инструмент тестирования под названием SOAPtest может проверить Web-службы, работая как в качестве клиента, так и сервера. SOAPtest способен также служить программой-агентом промежуточного слоя, беря на себя функции и сервера, и клиента. Продукт совместим с версиями SOAP фирм Microsoft и IBM, что весьма кстати, так как большинство корпораций работают сегодня с обеими версиями. Если сайт не использует стандартные механизмы обмена данными через Web-службы, SOAPtest поможет выполнить оценку передаваемых данных и того, как они представляются — посредством вызова процедуры или метода.
SOAPtest может проверить код XML и трафик HTTP, преобразовать XML с помощью модуля XSLT, а также осуществлять вызов удаленных процедур с помощью модуля XML RPC. Кроме того, SOAPtest позволяет размещать Web-службы, написанные на языке Java, JavaScript или Python.
Segue SilkTest 5.5, SilkPerformer V, SilkVision 1.2
Segue Software
Лексингтон, шт. Массачусетс
Цена: нет данных
Требования к авторизации: нет
www.segue.com
Ориентируясь на всестороннее тестирование приложений, фирма Segue обеспечила доступность через Web всех отчетов и результатов тестов для всех продуктов серии Silk. Программа SilkTest находит все элементы Web-страницы, такие как кнопки, текстовые поля, а также окна браузера и сетки для текста, регистрируя их как уникальные объекты. Программа может «углубиться»» в каждый такой элемент, проверив его свойства либо проведя тестирование. SilkTest может также выполнить тестирование приложения по заданному сценарию.
Компания включила в SilkTest достаточно сложный язык под названием 4Test. Он обеспечивает определенную гибкость, позволяя реселлерам создавать собственные сценарии тестирования; впрочем, SilkTest генерирует код сценария при записи поведения Web-приложения. Используя модуль обнаружения объектов, одни и те же сценарии тестирования можно использовать при проведении тестов на различных платформах или в многоязычных Web-приложениях. Кроме того, с помощью одного сценария можно протестировать как двухбайтовые, так и однобайтовые приложения.
Что касается тестов с использованием данных, то SilkTest способен считывать и извлекать информацию из БД для формирования набора тестов.
Программа SilkPerformer V позволяет протестировать Web-приложения, используя большое число протоколов. Продукт дает возможность запускать клиентские программы на отдельных платформах и с разной скоростью соединения, равномерно распределяя транзакции во время тестирования. Входящий в программу модуль серверного анализа может осуществлять мониторинг ЦП и памяти того сервера, на котором выполняется приложение. В сочетании с тестированием приложений серверный модуль может применяться для настройки производительности каждого сервера.
SilkPerformer может записать в один сценарий поведение приложений, использующих различные протоколы. К примеру, приложение может использовать комбинацию Java-апплетов, элементы управления ActiveX и код HTML, работая через протокол HTTPS, и поведение всех его компонентов можно автоматически сохранить в едином сценарии без всякого кодирования.
SilkVision — это Web-инструмент, который следит за действиями конечных пользователей и точностью транзакций. SilkVision генерирует отчеты, помогающие администратору быстро принимать решения. По результатам тестирования каждого отдельного приложения формируются общие оценки работоспособности. Они выводятся, исходя из точности, производительности и уровня готовности. Вместо изучения множества отчетов администратору достаточно узнать итоговую оценку, чтобы определить общее состояние приложения.
Как и другие участники этого обзора, фирма Segue интегрировала все свои инструменты в один пакет.
