Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

Когда стоит закончить автоматизировать?

Доклад Павла Стрункина на конференции SQA Days-20. 24-26 ноября 2016. Минск
www.sqadays.com

  • Inicia sesión para ver los comentarios

  • Sé el primero en recomendar esto

Когда стоит закончить автоматизировать?

  1. 1. Когда стоит закончить автоматизировать?
  2. 2. Об авторе: - Automation QA в SoftServe - 5 лет опыта - организатор QA Dnepr community Skype: pashidlos Email: pashidlos@gmail.com
  3. 3. • Проблемы • Декомпозиция проекта • Синхронизация автоматизированного и ручного тестирования • Расчеты (часы/$) • Заключение • Вопросы План
  4. 4. • Раздельная работа QA • Отсутствует стратегия автоматизации • Приоритеты не определены • Сроки не согласованы Проблемы
  5. 5. • Провели декомпозицю проекта • Определили критичность с точки зрения системы • Определили лучшие части для автоматизации Что мы сделали:
  6. 6. Декомпозиция
  7. 7. Критичность функционала • Critical • Major • Normal
  8. 8. Лучший функционал для автоматизации • Как быстро можно написать тест? • Сколько времени уходит на ручной прогон? • Код будет использован повторно? • Тест будет стабилен?
  9. 9. Комбинируем... Система Автоматизация Critical P1 P1 P2 Major P2 P1 P2 P1 P3 Normal P2 P3 P3 P1 P2 P3 АвтоматизацияСистема
  10. 10. Чек-лист
  11. 11. Оценка времени для тестов • P1: 12ч • P2: 27ч • P3: 6ч ИТОГО: 45ч
  12. 12. Оценка времени для ручной проверки • P1: 2ч • P2: 1.5ч • P3: 0.5ч ИТОГО: 4ч
  13. 13. Реальные затраты при ручной проверке В среднем два прогона тестов за релиз: ИТОГО: 8ч
  14. 14. Расчеты в часах Итого P1 P2 P3 Автоматизация (ч) 45 12 27 6 Ручная проверка (ч) 8 4 3 1 Реальные цифры по регрессии (в среднем два прогона за релиз) Количество релизов 6 3 9 6 Окупаемость автоматизации
  15. 15. Расчеты в деньгах QA рейт: 10$/ч • P1: 2ч = 20$ • P2: 1.5ч = 15$ • P3: 0.5ч = 5$ ИТОГО: 4ч= 40$ Automation QA рейт: 15$/ч • P1: 12ч = 180$ • P2: 27ч = 405$ • P3: 6ч = 90$ TOTAL: 45ч = 675$
  16. 16. Расчеты в деньгах Итого P1 P2 P3 Автоматизация ($) 675 180 405 90 Ручная проверка ($) 80 40 30 10 Окупаемость автоматизации Реальные цифры по регрессии (в среднем два прогона за релиз) Количество релизов 9 5 14 9
  17. 17. График окупаемости А как же поддержка тестов?
  18. 18. Поддержка +10 - 20 % каждый релиз
  19. 19. Расчеты с учетом затрат на поддержку Тесты Стоимость ($) 10% ($) 20% ($) Total 675 67.5 135 P1 180 18 36 P2 405 40.5 90 P3 90 9 18
  20. 20. График окупаемости с учетом поддержки
  21. 21. Расчет автоматизации Р1 тестов Итого P1 P2 P3 Автоматизация ($) 675 180 405 90 Ручная проверка ($) 80 40 30 10 Реальные цифры по регрессии (в среднем два прогона за релиз) Количество релизов 9 5 14 9 Окупаемость автоматизации
  22. 22. Расчет автоматизации Р1 тестов с учетом поддержки Тесты Стоимость ($) 10% ($) 20% ($) Total 675 67.5 135 P1 180 18 36 P2 405 40.5 90 P3 90 9 18
  23. 23. График окупаемости Р1 тестов с учетом поддержки P2+P3 нужно проверить вручную!
  24. 24. Добавляем Р2+Р3 тесты Итого P1 P2 P3 Автоматизация ($) 675 180 405 90 Ручная проверка ($) 80 40 30 10 Реальные цифры по регрессии (в среднем два прогона за релиз) Количество релизов 9 5 14 9 Окупаемость автоматизации
  25. 25. График окупаемости
  26. 26. Пример из жизни Покрытие Затраты на автоматизацию (ч) Тесты (ч) Поддержка (ч) Ручное тестирование (ч) Затраты на релиз (ч) 0% 0 0 96 96 33% 552 526 26 48 74 66% 1104 1051 52 16 68 99% 1,656 1577 79 4 83
  27. 27. График окупаемости (ч)
  28. 28. Расчет окупаемости ($) Покрытие Затраты на автоматизацию ($) Тесты ($) Поддержка ($) Ручное тестирование ($) Затраты на релиз ($) 0% 0 0 960 960 33% 8280 7890 390 480 870 66% 16560 15765 780 160 940 99% 24840 23655 1185 40 1225 QA рейт: 10$/ч Automation QA рейт: 15$/ч
  29. 29. График окупаемости ($)
  30. 30. • Автоматизировать сложные для ручной проверки тесты • Уменьшать время на поддержку тестов • Следить за изменением затрат на регрессию Как ускорить окупаемость автоматизации?
  31. 31. • Текущие затраты на регрессию (ТЗР) ▪ Ручное тестирование (ч/$) ▪ Поддержка автоматизированных тестов (ч/$) • Ожидаемые затраты на регрессию (ОЗР) ▪ Ручное тестирование (ч/$) ▪ Поддержка автоматизированных тестов (ч/$) Что отслеживать:
  32. 32. ТЗР > ОЗР ТЗР = ОЗР ТЗР < ОЗР Summary Ручное тестирование Автоматизация
  33. 33. http://qacommunity.com.ua/ https://vk.com/qadnepr Skype: pashidlos Email: pashidlos@gmail.com

×