Доклад Александра Мешкова на конференции SQA Days-18, 27-28 ноября 2015 г., Москва www.sqadays.com

1. Software quality assurance days
18 Международная конференция
по вопросам качества ПО
sqadays.com
Москва. 27–28 ноября 2015
Мешков Александр
Performance Lab. Москва, Россия
Процесс тестирования. Измерение и Оценка.

2. Краткая информация
• Мешков Александр
Руководитель направления QA консалтинга
Performance Lab
Skype: alekslynx
Email: a.Meshkov@pflb.ru
15 проектов по тестированию и консалтингу
Процесс тестирования. Измерение и Оценка.

3. • Введение
• Об оценке и измерении
• Оценка зрелости процесса тестирования
• Основные принципы оценки
• Оперативная оценка процесса тестирования
• Практика использования
• Итоги
Процесс тестирования. Измерение и Оценка.
План доклада

4. Делегирование
Подотчетность
Задачи
Мониторинг
Инструкции
Отчетность
Процесс тестирования. Измерение и Оценка.
Введение

5. Процесс тестирования. Измерение и Оценка.
Оценка процесса тестирования:
кому и зачем это нужно?

6. • Целесообразность
• Своевременность
• Соответствует ожиданиям
руководителя
• Точность
• Соответствует назначению
• Возможность сравнить с
эталоном и/или прошлыми
результатами
Процесс тестирования. Измерение и Оценка.
Требования

7. Аудит Обследование Самооценка
Процесс тестирования. Измерение и Оценка.
Как можно проводить оценку?

8. Руководитель отдела тестирования (управляя процессом) должен
отвечать за:
Результативность
Целесообразность
Продуктивность
Соответствие
Процесс тестирования. Измерение и Оценка.
Что и зачем оценивать?

9. Процесс тестирования. Измерение и Оценка.
Для чего применять оценку?
• Обеспечение стабильности результатов
(Аудит, обследование,
самообследование)
• Целесообразность (Обследование,
самооценка)
• Продуктивность (Обследование,
самооценка)
• Результативность (Обследование,
самооценка)
• Соответствие (Аудит, обследование,
самообследование)

10. 1. Используется для сравнения с эталонами
2. Используется для отчетности.
3. Используется для проверки и оценки процессов на предмет
полученных выгод от совершенствования.
Процесс тестирования. Измерение и Оценка.
Классы оценки (ISO 15504)

11. Процесс тестирования. Измерение и Оценка.
Принцип оценки зрелости

12. Планируй:
- Что делать?
- Как делать?
- Кто будет делать?
- Какие ресурсы
потребуются?
Корректируй:
- Что улучшить в
дальнейшем?
Делай:
- Выполнение
запланированных
работ
Контролируй:
- Результативно?
- Эффективно?
Процесс тестирования. Измерение и Оценка.
Принцип оценки зрелости

13. Процесс тестирования. Измерение и Оценка.
Оценка зрелости процесса тестирования.
Модели.

14. Thomas C. Staab. Using SW-TMM to Improve the Testing Process. Crosstalk The
Journal of Defense Software Engineering. November 2002.
Уровни Зрелости
Процесс тестирования. Измерение и Оценка.
Модель SW-TMM

15. http://www.tmmi.org/pdf/TMMi.Framework.pdf
Где взять?
Процесс тестирования. Измерение и Оценка.
Модель TMMI

16. Классы
Ключевые области
Группы ключевых
областей
Процесс тестирования. Измерение и Оценка.
Модель TPI

17. Контролируемый Эффективный Оптимизируемый
Уровни зрелости
Приоритезация ключевых областей
Процесс тестирования. Измерение и Оценка.
Модель TPI

18. Отличия моделей:
- Шкалы (уровни) зрелости
- Процессные модели и способы их применения
Процесс тестирования. Измерение и Оценка.
Выбор модели

19. 1. Наблюдение
- Понимание, на что нужно обратить
внимание
- Как выполняются различные действия
Процесс тестирования. Измерение и Оценка.
Основные принципы методик

20. 1. Наблюдения
- Подтверждение своим
наблюдениям
- Понимание, как правильно
проверять
2. Факты
Процесс тестирования. Измерение и Оценка.
Основные принципы методик

21. 1. Наблюдения
- Правильность организации
работ
- Критерии оценки
2. Факты
3. Оценка
Процесс тестирования. Измерение и Оценка.
Основные принципы методик

22. 1. Наблюдения
- Выбор целевого состояния
- Что необходимо
предпринять?
2. Факты
3. Оценка
4. Рекомендации
Процесс тестирования. Измерение и Оценка.
Основные принципы методик

23. а) Правильная постановка задачи
б) Четкое обозначение границ
в) Обоснование необходимости в проведении оценки
г) Аргументированность замечаний
д) Практика, примеры
Процесс тестирования. Измерение и Оценка.
Важно

24. Контроль зрелости процесса – оперативная
оценка
Оценка зрелости
Оперативная оценка
Цель
Результат
Процесс тестирования. Измерение и Оценка.

25. Процесс тестирования. Измерение и Оценка.
Оперативная оценка процесса тестирования
• Кто заинтересован?
• Что измерять?
• Как оценивать
результаты измерений?
• Как получить общую
оценку?

26. • Метрика – технически
или процедурно
измеримая величина,
характеризующая
состояние объекта
управления.
• KPI – метрика, которая
служит индикатором
состояния объекта
управления. Обязательное
условие – наличие целевого
значения и установленные
допустимые отклонения.
Процесс тестирования. Измерение и Оценка.
Показатели

27. • Метрика – технически
или процедурно
измеримая величина,
характеризующая
состояние объекта
управления.
• KPI – метрика, которая
служит индикатором
состояния объекта
управления. Обязательное
условие – наличие целевого
значения и установленные
допустимые отклонения.
У нас есть KPI.
Мы измеряем
производительность
нашей команды!
Процесс тестирования. Измерение и Оценка.
Показатели

28. Мы знаем значения метрик
процесса тестирования, но как нам
получить их оценку?
Процесс тестирования. Измерение и Оценка.
Показатели
• Разный цели метрик
• Разные единицы
измерения
• Неидентичные метрики

29. Использование единой оценки,
но как?
Процесс тестирования. Измерение и Оценка.
Показатели
Мы знаем значения метрик
процесса тестирования, но как нам
получить их оценку?
• Разный цели метрик
• Разные единицы
измерения
• Неидентичные метрики

30. R=
1,
𝐾−𝑀
𝑇−𝑀
0,
,
𝐾 ≥ 𝑇 100%
𝑀 ≤ 𝐾 < 𝑇 от 1% до 99%
𝐾 < 𝑀 0%
R=
1,
𝐾−𝑀
𝑇−𝑀
0,
,
𝐾 ≤ 𝑇 100%
𝑀 ≥ 𝐾 > 𝑇 от 1% до 99%
𝐾 > 𝑀 0%
Как прийти к общей оценке?
Какова эффективность процесса в
целом?
Как считать показатель, если один
из KPI = 0? Перемножение?
Процесс тестирования. Измерение и Оценка.
Показатели
T – целевое значение
К – факт
М – граничное значение

31. Вводим коэффициент
допустимого значения (ДЗ) для
каждого KPI.
ДЗ – значение итогового
показателя при условии, что
определенные KPI = 0%, а прочие
= 100%
Важность (вес) KPI определяет
значение ДЗ.
Получаем итоговый показатель:
ИП = В𝑖 × ОЦ𝑖 / В𝑖
В𝑖 = (1 - В 𝑚𝑎𝑥) × ОЦ𝑖+В 𝑚𝑎𝑥 , 0 ≤ ОЦ𝑖 ≤ 1
В 𝑚𝑎𝑥 =
1 − ДЗ
ДЗ
× 𝑁 − 1 , 0 < ДЗ < 1
Процесс тестирования. Измерение и Оценка.
Показатели

32. • Цель
• Метрики
• Критерии
• Оценка
• Действия
Процесс тестирования. Измерение и Оценка.
Что нужно, чтобы это работало

33. Процесс тестирования. Измерение и Оценка.
Комплексная оценка

34. • Учитывайте мотивацию
• Дайте возможность быть самостоятельными
• Контролируйте результаты
• Сделайте все, что процесс сбора был прозрачен
Типичные ошибки (с ними цели не достигнуть):
Мы используем готовый набор метрик, зачем
придумывать что то новое…
Мы измеряем ради измерения…
Получили статистику, показали руководству и
забыли…
Если мы решили собирать метрики, то все должны это
делать…
Зачем нам метрики, мы используем модели
зрелости…
Процесс тестирования. Измерение и Оценка.
Практика использования

35. • При измерении и оценки нужно понимать назначение той оценки, которую
Вы выполняете
• Модели и инструменты оценки должны периодически проверяться на
соответствие решаемым задачам в ходе процесса тестирования:
 Модели оценки зрелости должны соответствовать принятым в
компании стандартам и практикам
 Метрики и показатели эффективности должны пересматриваться и
обновляться в соответствии с целями и задачами, которые ставят перед
тестированием.
• Оценка – это не цель, а инструмент, который помогает:
 Планировать
 Управлять
 Совершенствовать
Процесс тестирования. Измерение и Оценка.
Итоги

36. Вопросы?
alekslynx
a.meshkov@pflb.ru
Процесс тестирования. Измерение и Оценка.
Спасибо за внимание