1. Software quality assurance days
19 Международная конференция
по вопросам качества ПО
sqadays.com
Санкт-Петербург. 20–21 мая 2016
Дмитрий Химион
Москва, Россия
Оценка методологии автоматизации
тестирования - MBT
2. Оценка методологии автоматизации - MBT
Дмитрий Химион
руководитель направления автоматизации тестирования
Performance Lab
10 лет в тестировании
Докладчик на конференциях:
•SQA Days 13
•ITSM Forum
•SQA Days 14
•SQA Days 15
•SQA Days 16
•CodeFest 2015
•SQA Days 17
•Quality days
•SQA Days 18
•CodeFest 2016
59 проектов по автоматизации тестирования
+9 проекта - прототипы инструментария АТ
3. Оценка методологии автоматизации - MBT
Введение
Что на счёт Test Automation в Agile?!
Agile Manifesto – 2001 год
DevOps – 2008 год
9. Оценка методологии автоматизации - MBT
Сравнение с современными подходами к АТ
Новый функционал
Изменение
Задача минимум Задача максимум
A-B-F-G-H A-B-F-G-H A-B-D-F-G-H A-D-F-G-H A-C-D-F-G-H
A-D-v-F-H A-D-v-F-H A-B-D-v-F-H A-C-D-v-F-H A-C-D-v-F-G-H
A-B-D-F-H A-B-D-F-H A-D-F-H A-C-D-F-H
v
10. Оценка методологии автоматизации - MBT
Сравнение с современными подходами к АТ
Новый функционал
Изменение
Критерий MBT подход
Современный
подход
Разработка тестов 1X От 1,2X до 3X
Актуализация тестов 1X От 1,2X до 3X
Покрытие тестами Кол-во тестов
v
11. Оценка методологии автоматизации - MBT
Применимость для Agile разработки
Суть гибкой разработки ПО:
•Всегда рабочий продукт
•Короткие спринты
•Завершение тестирования по завершению разработки
MBT подход
Современный
подход
1X От 1,2X до 3X
1X От 1,2X до 3X
12. Оценка методологии автоматизации - MBT
Применимость для Agile разработки
Суть гибкой разработки ПО:
•Всегда рабочий продукт
•Короткие спринты
•Завершение тестирования по завершению разработки
MBT подход
Современный
подход
1X От 1,2X до 3X
1X От 1,2X до 3X
13. Оценка методологии автоматизации - MBT
Применимость для Agile разработки
Смысл гибкой разработки ПО:
•Всегда рабочий продукт
•Короткие спринты
•Завершение тестирования по завершению разработки
MBT подход
Современный
подход
1X От 1,2X до 3X
1X От 1,2X до 3X
14. Оценка методологии автоматизации - MBT
Применимость для Agile разработки
Начало тестирования
Релиз
Затраты по MBT
Что успевают разработчики в спринт, то успеют автоматизаторы
15. Оценка методологии автоматизации - MBT
Применимость для Agile разработки
Затраты по современной автоматизации
Что успевают разработчики в спринт, то успеют автоматизаторы
Начало тестирования
Релиз
Затраты по MBT
16. Оценка методологии автоматизации - MBT
Концепция инструмента
Test model
Generator
Restriction
tool
Source
App
driver
Application
Framework / Tool
Logger
Test
Manager
log
17. Оценка методологии автоматизации - MBT
Концепция инструмента
Test model
Generator
Restriction
tool
Source
App
driver
Application
Framework / Tool
Logger
Test
Manager
log
22. Оценка методологии автоматизации - MBT
Требования к команде и процессам
• Наличие компетенции по системе:
– Описание прохождения бизнес процессов в деталях
– Описание ветвлений бизнес процессов системы
– Описание однозначных тестовых данных для бизнес процессов
• Понимание достаточного тестового покрытия для системы
23. Оценка методологии автоматизации - MBT
Стартовые требования и ограничения
Test model
Restriction
tool
Framework / Tool
Logger
Test
Manager
24. Оценка методологии автоматизации - MBT
Итоги
• MBT = минимальный объёма кода
• Позволяет обеспечить высокое тестовое покрытие
• Подходит для Agile тестирования
• Требует организации процессов тестирования и коммуникации
• Обладает набором сложных не реализованных задач
• Инструментов по MBT мало
Входной порог в тестирование низкий?! – попробуй MBT
Множество framework-ов и Agile методологии реализуют возможность достаточно быстрой разработки, за которой полноценное тестирование не поспевает. В методологиях автоматизации тестирования есть такая штука – Model Based Testing, которая намекает на реализацию полноценного тестирования в условиях Agile. Я проведу её анализ, в котором покажу интересные и коварные стороны MBT и покажу наши разработки в этой области.
Вариация пользователей системы
Бизнес процессы
Достаточная вариация данных для бизнес процессов
Вариация пользователей системы
Бизнес процессы
Достаточная вариация данных для бизнес процессов
Описание модели – следование требованиям бизнеса
Выделение ценных тестов – механизм ограничений
Длительность прогона – механизм распараллеливания
Логирование – сохранение и интерпретация результатов