Ця доповідь про комплексну оцінку якості.
Про провідні менеджмент-практики (Evidence Based Management, Management 3.0) та їх місце в тестуванні. Про хороший тон управління процесами та ключові характеристики якісних метрик - про їх атрибути, візуалізацію і збалансованість. Також, покажу проектну Екосистему QA Метрик, яку ми розробили на основі М3.0 Scoreboard Index підходу.
3. ЗМІСТ ТА РЕЗУЛЬТАТ
ЗМІСТ
• Корисні властивості метрик
• M3.0 Scoreboard Index case study
РЕЗУЛЬТАТ
Відправна точка для побудови
власної екосистеми метрик або
впровадження нових менеджмент
практик до існуючого фреймворку
4. Without measuring value, the success
of any agile initiative is based on
nothing more than intuition and
assumption.
EVIDENCE-BASED MANAGEMENT GUIDE
16. КОМПЛЕКСНІСТЬ
• Жодного блокеру на продакшені
• Час тестування збільшився на 50%
• Time-2-Market зменшився на 20%
• Рівень перевідкритих дефектів зріс на 30%
• Рівень відхилених дефектів зменшвся на 15%
• Customer Satisfaction зменшилось на 10%
• Прибуток зріс на 5%
22. КОРИСНІ ВЛАСТИВОСТІ
• Pain point та ціль
• Аудиторія
• Якісні дані
• Періодичність збору даних
• Періодичність презентації
• Власник
• Збалансованість
• Комплексність
• Візуалізація
• Цільові значення
• Сховище
• Коментарі
• Задокументованість
24. • Жодного блокеру на продакшені
• Час тестування збільшився на 50%
• Time-2-Market зменшився на 20%
• Рівень перевідкритих дефектів зріс на 30%
• Рівень відхилених дефектів зменшвся на
15%
• Customer Satisfaction зменшилось на 10%
• Прибуток зріс на 5%
ТО Й ЩО?
25. Scoreboard Index
SI – це агрегована
величина –
показник, який
акумулює
безкінечну
множину
складових
26. Scoreboard Index – покрокова
інструкція
• Встановлення нижньої та верхньої межі
допустимих значень
• Визначення пріоритету кожної метрики
• Нормалізація значень і приведення до єдиного
тренду
• Агрегація значень в один показник
• Візуалізація
27. Scoreboard Index – покрокова інструкція
У кожної з метрик має бути нижня і верхня межа допустимих
значень
28. ОДНАКОВІ, АЛЕ РІЗНІ
• Жодного блокеру на продакшені
• Час тестування збільшився на 50%
• Time-2-Market зменшився на 20%
• Рівень перевідкритих дефектів зріс на 30%
• Рівень відхилених дефектів зменшвся на
15%
• Customer Satisfaction зменшилось на 10%
• Прибуток зріс на 5%
30. ОДИНИЦІ
ВИМІРВАННЯ
• Жодного блокеру на продакшені
• Час тестування збільшився на 50%
• Time-2-Market зменшився на 20%
• Рівень перевідкритих дефектів зріс
на 30%
• Рівень відхилених дефектів
зменшвся на 15%
• Customer Satisfaction зменшилось
на 10%
• Прибуток зріс на 5%
31. Scoreboard Index – покрокова інструкція
Нормалізація даних і приведення до єдиного тренду
32. Scoreboard Index – покрокова інструкція
Агрегація значень в один показник у %
34. Scoreboard Index – покрокова інструкція
Масштабування і візуалізація
*Decreasing trend is a target
Service N
35. • Одна all-inclusive величина
• Допомагає побачити проблемну зону з
helicopter view
• Інноваційна менеджмент практика, яка
знаходить своє місце в тест-менеджменті
Scoreboard Index - Перемога
36. • Ручна робота
• Резистентність до нових менеджмент практик в тестуванні
Scoreboard Index - Труднощі
Хочу дати набір практик які дозволять відчути владу – взяти оцінки під контроль
Щоб це не лякало, не приносило якогось невдоволення чи розчарування
Шматок відео з Авенжерів де герой питає скільки чсу вам потрібно – а інший відповідає – весь що є і трохи більше
Зусилля/профіт – покладаємось на common sense
Є рекомендація по industry standard наприклад щодо выдсотку який займають зутрічі, або по часу на рефайнменти
Немає такої рекоемндації щодо того, кільки часу має йти на збір метрик) але думаю цілком можна орієнтуватись на попередні дві активності
Щоб оцінити комплексний продукт потрібен комплексний погляд – і контекст
Люди завжди знайдуть якийсь меседж в метриці, точно не завжди той, який ви в неї закладали
Магічне прибирання Марі Кондо
Хочете щоб вашими метриками користувались – зробіть це зручним. Нехай доступ до них буде простим/легким
З одного боку – можн прийти до висновку що просто мати історичні дані – вже вирішує всі проблеми
Але це не зовсім так
Історичні дані які будуть допомогати вам з вашими прогнозами потрібно правильно використовувати
І я хочу поділитись набором тих інструментів якими користуємось ми щоб удосконалювати нашу практику оцінювання
Тобто SI це як пазл кожна частинка якого окрема метрика
Це мета-показник будь-чого, що є надто компексним, щоб бути виміряним одни виміром
Не забут відкоментувати про те який тренд для нас спрятливия - очікуванний
Не забут відкоментувати про те який тренд для нас спрятливия - очікуванний
немає адонів які допомагають його збирати і візуалізувати – це робота в ексель
треба пояснити і продати підхід, навчити організацію ним користуватись
Памятайте про корисні властивості метрик та нарощуйте їх поступово
Регулярно рефайніть своі метрики
Влаштовуйте прибирання свого каталогу – рев’ю та ретроспективу - Аналізуйте чи допомагають вам ваші метрики приймати рішення – коли створюєте метрику запитуйте себе – які рішення ця метрика допоможе прийняти – або від зворотнього – коли важко або незрозуміло на що спиратись при прийнятті рішень подумайте які дані могли б вам допомогти
