The talk reviews the most significant elements of organization of automation for a project. It might help you decide whether automation is needed on your project.
Report reviews the possible strategies of implementing the automation into life, touches upon the planning of the automation process and how can the profit acquired from automation be estimated by providing the return of investment calculation.
2. О ЧЕМ ВЫ УСЛЫШИТЕ В БЛИЖАЙШИЕ 40 МИНУТ?
1. Зачем автоматизировать
2. Планирование и оценка:
● Стратегии автоматизации
● Планирование
● Критерии отбора тестов
● Оценка успешности автоматизации
4. ЧТО ЗНАЧИТ ТЕСТИРОВАТЬ ВЫГОДНЕЕ?
Тест прогоняется вручную за 10 минут
Нужно прогонять 2 раза в неделю
До релиза осталось 3 месяца
Заавтоматизировать тест - 4 часа (единоразовая трата времени)
Анализ результатов автотеста - 2 минуты
Оправдана ли автоматизация?
5. Сэкономили:
10*2(раза в неделю)*4(недели)*3(месяца)=240
Потратили:
4х60 + 2 минуты *2*4*3 = 288
Прибыль: - 48 минут
Тест прогоняется вручную за 10 минут
Нужно прогонять 2 раза в неделю
До релиза осталось 3 месяца
Заавтоматизировать тест - 4 часа (единоразовая трата времени)
Анализ результатов автотеста - 2 минуты
6. Нужна ли
автоматизация?
1. Проанализируйте цену в
разрезе затраченного времени
на разработку и поддержку
2. Не бойтесь сказать заказчику,
что автоматизация для данного
продукта не нужна
7.
8. ПЛАНИРОВАНИЕ, ОЦЕНКА
1. Стратегии автоматизации
2. Поэтапность задач
3. Критерии отбора тестов (окупаемость)
4. Оценка успешности автоматизации
11. ВИЖУ ЦЕЛЬ
Опознавательные черты:
Точная постановка задачи
Фокус на результате
Сфера применения:
Решение конеретных задач
Есть собранная статистика
Залог успеха:
Регулярная оценка статуса и успешности
15. УРОВНИ ТЕСТИРОВАНИЯ
● Пирамида показывает идеальный
вариант распределения
количества автотестов по
категориям
● Каждый уровень характеризует
количество тестов на уровне
19. ОКУПАЕМОСТЬ
Используется при сравнении разных тестовых наборов
Помогает приоритизировать тесты
Невозможно на начальной стадии (невозможно без какой-либо
минимальной автоматизации - нет точных оценок для статистики)
20. ОЦЕНКА РЕЗУЛЬТАТОВ АВТОМАТИЗАЦИИ
ПОЛЬЗА ОБЪЕКТИВНА:
Автотесты никому не нужны
Автозапуск никому не нужен
Никому не нужна автоматическая отчетность
Если это все не приносит
РЕАЛЬНОЙ пользы проекту
21. ИЗМЕРЯЕМ ПОЛЬЗУ
% сэкономленных затрат
% покрытия
рост скорости отклика (стали быстрее тестировать)
повысили объемы тестирования (больше окружений, данных)
Это можно сделать как 5 тестами, так и 5 000 тестами. Число автотестов не
показывает НИЧЕГО. Это задачи, которые могут привести к улучшениям, а
могут и не привести.
22. ПРИМЕР ПОЛЬЗЫ АВТОМАТИЗАЦИИ
Вариант 1:
Мы разработали 679 тестов
Интегрировались с BTS
У нас новая среда
автозапуска
Генерятся красивые отчеты
Запускаемся 8 раз за день
Вариант 2:
Сроки релизного тестирования сокращены
с 5 дней до 4 часов
Регулярное тестовое покрытие увеличино с
8% до 27%
Количество окружений для регрессионного
тестирования увеличено с 1 до 16
23. Это здорово только если:
Это РЕАЛЬНО нужно
было проекту
Этого нельзя было
достичь более
дешевыми и
простыми способами
Вариант 2:
Сроки релизного тестирования сокращены
с 5 дней до 4 часов
Регулярное тестовое покрытие увеличино с
8% до 27%
Количество окружений для регрессионного
тестирования увеличено с 1 до 16
НО ДАЖЕ
24. ОЦЕНКА АВТОМАТИЗАЦИИ
По целям
По целям, а не задачам
По НУЖНЫМ целям
С учетом затрат
ВАЖНО соотношение затрат автоматизации к
ручному тестированию!★ На разработку
★ На поддержку
★ На анализ результатов
25. ИТОГ
Нужна ли автоматизация
Выбирем стратегию
Планируем, что и как будем автоматизировать в зависимости от
ресурсов и состояния проекта
Не отклоняемся от намеченных задач
Поэтапность
Собираем статистику и оцениваем!!!