SoapUI, Postman и Katalon Studio: Обзор 3 лучших инструментов для тестирования API
За последние пять лет, по данным Google Trends, значительно вырос интерес к тестированию API. Такая тенденция отражает сдвиг парадигмы в сторону web и мобильных приложений, а также разделение серверных служб и пользовательских интерфейсов.
Чтобы помочь вам разобраться, какие же все-таки инструменты лучше всего подходят для автоматизации тестирования API, в этой статье для вас будет представлены обзор и сравнение трех популярных инструментов для тестирования API: SoapUI, Postman и Katalon Studio. SoapUI и Postman специализируются исключительно на тестировании API, в то время как, Katalon Studio предоставляет полный набор инструментов для тестирования API, Web и мобильных приложений.
Katalon Studio
Katalon Studio — это интегрированная среда для создания и выполнения тестирования при работе с API, Web и мобильных приложениями. Имеет богатый набор инструментов для тестирования и поддерживает множество платформ, включая Windows, Mac OS и Linux. Интегрируя движки от Selenium и Appium со всеми необходимыми компонентами, встроенными ключевыми словами и шаблонами, Katalon Studio предоставляет уникальную среду разработки как для тестировщиков, так и для разработчиков, занимающихся тестированием API и веб-автоматизации. Вот некоторые примечательные особенности инструмента:
SoapUI
SoapUI чаще всего рекомендуют использовать, когда дело доходит до выбора инструмента тестирования API. Этот инструмент был специально разработан для тестирования API. SoapUI поддерживает сервисы REST и SOAP. Специалистам для автоматизации тестирования API на выбор доступны в версиях open-source и pro. Pro версия имеет удобный интерфейс и несколько дополнительных возможностей, такие как мастер создание проверок, редактор форм и конструктор SQL запросов. SoapUI – входит в готовый набор инструментов Ready API suite, предлагаемый компанией SmartBear.
SoapUI распространяется в версиях open-source и Pro ($659/год для средних и больших команд).
Postman
Postman стал популярен в качестве инструмента для автоматизации тестирования API, благодаря своему расширению для браузера, которое предназначено для проверки API. Postman можно установить, как в виде расширения для браузера, так и в качестве desktop-приложения для операционных систем Mac, Linux и Windows. Его используют не только тестировщики, которые занимаются автоматизацией тестирования API, но он так же полезен разработчикам для создания и проверки API. По факту, его можно рассматривать, как среду для разработки и тестирования API.
Postman доступен в трех версиях: Postman (бесплатно), Postman Pro ($8/месяц) и Postman Enterprise ($21/месяц).
Сравнение SoapUI, Postman и Katalon Studio
REST и SOAP являются доминирующими типами API, на которые приходится более 95% всех разрабатываемых API / веб-сервисов в соответствии c отчетом о состоянии интеграции API. Katalon Studio и SoapUI поддерживают оба типа REST и SOAP API, в то время как Postman может обрабатывать только REST. Следует отметить, что подавляющее большинство реализаций API (83%) основаны на REST протоколе.
В этой мы рассмотрели три самых популярных и перспективных инструмента для автоматизации тестирования API. Если сравнивать SoapUI с Postman и Katalon Studio, то у каждого инструмента есть свои плюсы и минусы, но несмотря на это они широко используются разработчиками и тестировщиками. (Подробнее о топ-10 инструментов тестирования API)
На сегодняшний день, для успешной реализации методов DevOps требуется использование многих инструментов, которые выполняют функцию управления конфигурацией, интеграции, тестирования и развертывания. Крайне важно, чтобы инструменты были легко и плавно интегрированы в целую инструментальную цепочку DevOps, для того чтобы разработчики, тестировщики и другие заинтересованные стороны могли взаимодействовать. В итоге интегрированные средства автоматизации тестирования, которые могут поддерживать API, Web UI и тестирование мобильных приложений, определенно имеют преимущество перед узконаправленными, специализированными инструментами, такими как Postman и Apache JMeter.
Katalon studio что это
Что пишут в блогах
2 декабря выступала в Костроме у Exactpro Systems с темой «Организация обучения джуниоров внутри команды». Уже готово видео! Ссылка на ютуб — https://youtu.be/UR9qZZ6IWBA
Привет! В блоге появляется мало новостей, потому что все переехало в telegram.
Стоимость в цвете — 2500 рублей самовывозом (доставка еще 500-600 рублей, информация по ней будет чуть позже)
Онлайн-тренинги
Что пишут в блогах (EN)
Разделы портала
Про инструменты
Автоматизация тестирования — сфера, в которой идет постоянная работа над улучшениями, увеличением надежности и простоты использования.
Некоторые инструменты могут помочь создать лёгкие, надежные и легко поддерживаемые скрипты, но сами тяжелы в использовании. Другие — более просты в использовании, но на выходе вы получаете тест скрипты которые тяжело поддерживать. Каждый раз мы сталкиваемся с выбором, при котором мы где-то выигрываем, а где-то проигрываем.
Учитывая эту ситуацию, когда мне говорят про то, что некий инструмент обещает решить данную проблему — мне автоматически становится довольно интересно.
На протяжении прошлой недели я работал с простым, но мощным софтом — Katalon Studio. Он вмещает в себя UI возможности, которых мне так не хватает в Selenium WebDriver и гибкость, которой не может похвастаться UFT. И да, он абсолютно бесплатный.
=> Если вам интересно узнать больше, мы уже сделали один обзор этого бесплатного инструмента: Katalon Studio review.
В данном туториале я решил, что неплохо было бы перейти от теории к практике.
Шаг №1: создание нового проекта
Шаг №2: добавление объектов в репозиторий
Шаг №3: создание тест-кейса
Шаг №4: добавление шагов тестирования
Шаг №5: запуск теста
Шаг №6: для закрепления
Установка и запуск Katalon Studio
Скажу сразу — установка очень простая.
(Внимание: Кликните на любую картинку чтобы приблизить)
Нажмите на картинку, чтобы увеличить изображение
Вам понадобится валидный email чтобы активировать Katalon Studio аккаунт. Я использовал свой Gmail.
Нажмите на картинку, чтобы увеличить изображение
2) Выберите вашу операционную систему
Нажмите на картинку, чтобы увеличить изображение
3) Как только загрузка завершится — перейдите в соответствующую папку и запустите Katalon.exe (Я использую Windows)
4) Начнётся установка:
5) Введите данные вашего аккаунта:
Нажмите на картинку, чтобы увеличить изображение
Готово. Katalon Studio запускается, и вы готовы автоматизировать!
Первый взгляд на пользовательский интерфейс Katalon Studio
Я могу указать на каждый элемент и значок, который вы увидите в интерфейсе, но я не буду этого делать — это уже реализовано в руководстве пользователя Katalon Studio.
Вот скриншот из документации Katalon Studio, которая создана для ознакомления с интерфейсом:
Нажмите на картинку, чтобы увеличить изображение
Давайте создадим наш первый тест
Ну что, раз мы зашли — давайте пробовать
Шаг #1: Создайте новый проект
Нажмите на картинку, чтобы увеличить изображение
Ваш проект откроется, и вы увидите следующие элементы, доступные в Test Explorer:
Нажмите на картинку, чтобы увеличить изображение
Шаг #2: добавление объектов в репозиторий
Существует много подходов к созданию тест-кейса. Это может быть как запись вашего теста, так и генерация строк кода после добавления объекта. Давайте рассмотрим второй подход.
Вот что нужно сделать: Перейдите на вкладку «Object Repository», и для работы над веб-приложением, нажмите «Spy Web».
Нажмите на картинку, чтобы увеличить изображение
Появится окно Object Spy. Введите стартовый URL и выберите, в каком браузере его открыть.
Нажмите на картинку, чтобы увеличить изображение
Это запустит URL в выбранном браузере. Я перехожу по «http://carguruji.com/shop» используя chrome.
Как вы можете видеть, каждый раз, когда вы наводите курсор мыши на объект на странице, он показывает способ захвата объекта:
Нажмите на картинку, чтобы увеличить изображение
Захватите все объекты, необходимые для теста, нажав «Alt +
», теперь объекты будут отображаться в окне репозитория объектов под “Captured Objects”:
Нажмите на картинку, чтобы увеличить изображение
Затем нажмите на “Add to Object Repository”
В итоге все необходимые для вашего теста объекты должны быть у вас в “Object Repository” структурированными по вашему выбору:
Нажмите на картинку, чтобы увеличить изображение
Теперь мы готовы добавить шаги к тесту.
Шаг #3: Создаем тест-кейс
Я хочу, чтобы мой тест-кейс выполнял следующее:
Возможно, это не идеальный тест, но он подойдёт для демо-целей
Итак, давайте создадим шаги в Katalon Studio.
Перейдите к Test Cases в Test Explorer. Щелкните правой кнопкой мыши и выберите ‘New ->Test Case’. Введите имя тест-кейса и описание ниже. Я назову его «ViewProductPrice».
Нажмите на картинку, чтобы увеличить изображение
Откроется новый табличный формат:
Нажмите на картинку, чтобы увеличить изображение
Пользователям Selenium IDE покажется это довольно знакомым, так как выглядит оно очень похоже. Тем не менее, я нахожу это более близким по функционалу к HP UFT/QTP keyword view из-за возможности добавлять output variables, looping statements и т.д.
Нажмите на картинку, чтобы увеличить изображение
Шаг #4: добавляем шаги тестирования
Чтобы добавить шаги тестирования нажмите «Add», и в создавшейся строке щелкните столбец «item», чтобы добавить ключевое слово / метод / действие, которое вы намереваетесь выполнить.
Например: Первое, что я хочу сделать, это «Открыть браузер» и перейти к определенному URL-адресу.
Вот как вы можете это сделать:
Нажмите на картинку, чтобы увеличить изображение
Итак, кликаем для выполнения соответствующих задач:
Item: выбрать, что делать
Object: где-на каком объекте
Input: что подавать на шаг
Output: где хранить возвращаемое значение
Аналогичным образом, продолжаем добавлять все шаги. Хорошая идея — добавить некоторое описание на каждый шаг, чтобы при будущем использовании тест-кейса чётко понимать, что тут и зачем. Для этого щелкните столбец описания и введите описание, как показано ниже:
Нажмите на картинку, чтобы увеличить изображение
Вот так будет выглядеть ваш тест:
Нажмите на картинку, чтобы увеличить изображение
Как только готово — можете запускать.
Но сначала давайте я вам быстро покажу “Script view” данного скрипта. Нажмите на “Script” вкладку внизу страницы для активации.
Нажмите на картинку, чтобы увеличить изображение
Пользователи, которым намного комфортнее работать с этим модом, могут использовать его вместо manual мода.
Шаг #5: Запускаем ваш тест
Для запуска вашего теста нажмите на “Run” в меню, так же вы тут можете выбрать браузер, в котором будет запускаться тест.
Нажмите на картинку, чтобы увеличить изображение
Нажмите на картинку, чтобы увеличить изображение
Результаты теста будут показаны как на примере ниже:
Нажмите на картинку, чтобы увеличить изображение
Шаг #6: для закрепления
Теперь, когда вы выполнили свой первый тест, выполните следующие действия:
Новые возможности Katalon Studio
После просмотра документации оказалось, что часть из добавленного функционала – это именно то, чем меня порадовал Katalon Studio.
Нажмите на картинку, чтобы увеличить изображение
2) Поддержка содержимого в режиме сценария: я честно не знаю, что бы я делал, если бы IDE перестала подсказывать имена объектов и вызовы/синтаксис методов.
3) Переименование тест-репортов: если у нас нет сверхчеловеческой памяти, то узнать, какой тест прошел в какое время и какого числа будет довольно проблематично. В версии Katalon Studio 4.5 вы можете переименовать отчет о выполнении теста во что-то более человеческое и понятное.
Что хорошего в Katalon?
1) Простота установки. Работает c большинством операционных систем и браузеров: https://docs.katalon.com/display/KD/System+Requirements
2) Web, Mobile, and Web Service тестирование — все в одном
3) Абсолютно бесплатное решение
4) Подходит как для опытных тестировщиков, так и для новичков
5) Отсутствует сложность установки и определения структуры как, например, в Selenium
6)Включает в себя надежное QTP-like UI/Object распознавание. Вы можете добавить несколько свойств для распознавания объекта, вместо того чтобы выбирать/угадывать, какой локатор работает лучше всего.
Нажмите на картинку, чтобы увеличить изображение
7) Тестовые данные могут быть созданы в самом инструменте или могут быть извлечены из Excel или базы данных.
Нажмите на картинку, чтобы увеличить изображение
Поддерживает следующие базы данных:
Нажмите на картинку, чтобы увеличить изображение
8) Интегрируется с инструментами менеджмента требований и тестирования такими как JIRA и qTest. Отпадает нужда в тех. тул администраторах, так как интегрироваться довольно легко с помощью мастера быстрой настройки.
Нажмите на картинку, чтобы увеличить изображение
9) Выполнение нескольких тестов одновременно (как тест-сьют)
10) Интеграция с Git для управления исходным кодом и совместного использования
11) Надежная отладка и отчетность
12) Встроенная обработка ошибок. Больше никаких “try and catch” блоков, никаких сложных функций, чтобы аккуратно выйти из зафейленного скрипта. Определите, что должно произойти, когда ваш тест завершится с ошибкой в настройках проекта:
Нажмите на картинку, чтобы увеличить изображение
Что можно было бы улучшить?
Пожалуйста, обратите внимание:
Вывод
И так. «Соответствует ли Katalon Studio обещанному?» — я бы сказал, ДА! Хотя я еще не пробовал web-service и mobile часть, мне понравился функционал и возможности этого решения для web-тестирования.
Если вам нужен бесплатный инструмент автоматизации, который не требует глубоких технических знаний и настроек, этот может вам вполне пригодиться.
Оригинал статьи вы можете найти, перейдя по ссылке
Обзор и практическое руководство по Katalon Recorder (Selenium IDE++ для Chrome и Firefox)
Когда Firefox, начиная с версии Firefox 55, перестал поддерживать Selenium IDE, миллионы тестировщиков и разработчиков столкнулись с тем, что привычный ход работы по автоматизированному тестированию был нарушен, что вызвало среди них немалое беспокойство. К счастью, разработки в данной области продолжились, и не так давно команда Katalon представила Katalon Recorder – инструмент, который был разработан как альтернатива Selenium IDE.
Katalon Recorder поддерживается последними версиями Firefox и Chrome (также будет поддерживаться их последующими версиями) и может быть добавлен в качестве расширения для этих браузеров. Данный инструмент является отличной и бесплатной альтернативой Selenium IDE, а также другим подобным фреймворкам с открытым исходным кодом.
Katalon Recorder – это удобный и мощный инструмент, поддерживающий возможность записи тестовых сценариев, в котором основные функции Selenium IDE были портрированы для Chrome и Firefox.
Сравнение Selenium IDE и Katalon Recorder
На представленном ниже изображении видно, что все основные функции Selenium IDE также доступны для Katalon Recorder.
Фактически, Katalon Recorder поддерживает два дополнительных фреймворка: Robot Framework и Katalon Studio. Кроме того, данный инструмент совместим с языком программирования Groovy.
Katalon Recorder является отличным помощником для разработчиков, чья работа в значительной мере зависит от Selenium IDE. Он имеет мощную интегрированную среду разработки для записи, отладки и воспроизведения тестовых сценариев в браузере Chrome и Firefox.
Установка Katalon Recorder
Ниже приведены ссылки для скачивания Katalon Automation Recorder для Chrome и Firefox:
Chrome Web Store
Firefox Add-on Store
Данный инструмент достаточно просто установить. Ниже описаны шаги, как это сделать:
Нажмите кнопку «Add to Firefox» (Добавить в Firefox), как это показано на приведенном выше изображении, и в скором времени Katalon Recorder появится на панели инструментов браузера Firefox (установка длится не более 10 секунд).
Выглядит это следующим образом:
Нажмите кнопку «New» (Создать) и укажите имя нового тестового случая в диалоговом окне. Затем, нажмите «ОК».
Нажмите кнопку «Add» (Добавить) и введите команду, которую вы хотите выполнить:
В разделе «Reference» (Справка), приведенном выше, вы можете получить подробную информацию о том, что делает каждая команда.
Таким же образом выполните следующие команды для завершения тестового случая.
После завершения выполнения команды нажмите кнопку «Play» (Воспроизвести) для запуска тестового случая.
На приведенном выше изображении видно, что все успешно завершенные команды подсвечиваются зеленым цветом, при этом внизу экрана располагается консоль с информацией об удачном/неудачном выполнении команд для текущего тестового случая.
Основные функции
1) С помощью данного инструмента вы можете захватить необходимые элементы веб-приложения и записать выполняемые с ними действия. Вы можете создавать новые тестовые случаи, редактировать существующие, а также воспроизводить автоматические тестовые случаи. Katalon Recorder позволяет выполнять все эти действия легко и быстро.
2) Все поддерживаемые Selenese функции доступны в Katalon Recorder
3) Тестовые сценарии для Selenium IDE могут быть импортированы в Katalon Recorder (в скриптовом режиме) и экспортированы для приведенных ниже языков программирования и фреймворков.
4) Katalon Recorder поддерживается последними версиями Firefox и Chrome.
5) Данный инструмент работает на ядре Selenium 3.
6) Несколько тестовых случаев могут быть объединены в один тестовый набор. Такие объединенные тестовые случаи будут выполняться в виде полного тестового набора.
7) Тестовые случаи могут быть импортированы в Katalon Studio – полностью бесплатный инструмент для автоматизации тестирования, поддерживающий key-driven- и data-driven-подходы, TDD/BDD-тестирование, тестирование API, а также включающий такие возможности как: применение паттерна Page Object Model, управление и запись процесса тестирования, написание расширенных скриптов, параллельное выполнение, выполнение CI-интеграции и многие другие возможности!
8) Katalon Recorder позволяет записывать и воспроизводить автоматизированные тестовые сценарии не только пользователям Katalon Studio, но и тем, кто пользуется устаревшей версией Selenium IDE и другими популярными фреймворками с открытым исходным кодом.
Детальное описание основных функций
1) Панель инструментов. Панель инструментов состоит из 6 кнопок: «New» (Создать), «Record» (Запись), «Play» (Воспроизвести), «Export» (Экспортировать), «Help» (Подсказка) и «Settings» (Настройки):
После этого вы можете сохранить тестовый сценарий. Нажмите «Save As File» (Сохранить как) для сохранения сценария в виде Groovy-файла, как это показано на приведенном выше изображении.
Кроме того, из представленных изображений видно, что в зависимости от команд, заданных пользователем, в окне интерфейса будет выводиться определенный код.
Подобная особенность также есть в Selenium IDE в разделе «Source» (Исходный код).
На приведенном ниже изображении видно, что вы можете выбирать необходимый язык программирования или фреймворк:
Изменение языка программирования или фреймворка приведет к автоматическому изменению синтаксиса сценария:
2) Test Case Explorer:
Test Case Explorer содержит тестовые наборы. Тестовый набор может содержать несколько тестовых случаев:
Нажмите правой кнопкой мыши на кнопку «Test Case» (Тестовый случай) для выбора одной из трех функций:
1. Добавить новый тестовый случай (Add New Test Case’).
2. Удалить тестовый случай (Remove Test Case).
3. Переименовать тестовый случай (Rename Test Case).
Нажмите правой кнопкой мыши на кнопку «Test Suite» (Тестовый набор) для выбора одной из четырех функций:
1. Сохранить тестовый набор как (Save Test Suite As).
2. Закрыть тестовый набор (Close Test Suite).
3. Добавить в тестовый набор новый тестовый случай (Add New Test Case).
4. Переименовать тестовый набор (Rename Test Suite).
3) Окно тестовых случаев
В окне тестовых случаев вы можете добавить, удалить, редактировать или начать выполнение операций тестирования. Каждая из таких операций содержит команду, целевой объект и значение. Для изменения последовательности выполнения операций перетаскивайте их с помощью мышки.
4) Вкладки «Журнал», «Справка», «Параметры»
Журнал (Log)
В консоли просмотра событий отображается журнал/отчет по выполнению текущего тестового сценария. Здесь отображаются все сообщения об ошибках, возникших во время выполнения тестирования, информационные сообщения, а также информация о ходе проводимого тестирования.
Скриншот (Screenshot)
В этой вкладке отображаются все скриншоты, сделанные с помощью команды «captureEntirePageScreenshot» во время выполнения текущего тестового случая.
Справка (Reference)
Во вкладке «Reference» (Справка) приведена подробная информация о выбранной команде. Используйте данную информацию для выбора необходимого типа и параметров команды.
Параметры (Variable)
Во вкладке «Variable» (Параметры) приведена информация о текущей команде, выбранной пользователем. Для получения информации об имени, целевом объекте и значении команды перейдите в эту вкладку во время выполнения тестирования.
Katalon Analytics (Cloud icon)
Загрузите журналы выполнения в Katalon Analytics для отслеживания хода выполняемого тестирования, а также для того чтобы получить доступ к интеллектуальной панели управления тестированием и отчетам.
Ограничения
Наряду со всеми приведенными выше преимуществами, у данного инструмента также имеется несколько недостатков.
Больше о инструменте:
Здесь вы найдете краткое руководство для Katalon Recorder.
Таким образом, Katalon Automation Recorder – это отличный инструмент для автоматизации тестирования и хорошая альтернатива Selenium IDE.
— Первый сервис по продвижению на Реддит:Buy Reddit Upvotes
