Доклад Дмитрия Химиона на конференции SQADays-14, Львов 8-9 ноября 2013

1. Деградация автоматизаторов –
"горе от ума"
Дмитрий Химион. Performance-Lab

2. Приветствие
Дмитрий Химион
руководитель направления
автоматизации тестирования
Performance Lab
Тел. +7(910)454-04-69
Skype: Picasso-Key
d.khimion@pflb.ru
Докладчик на конференциях:
– SQA Days 13
– ITSM Forum
– SQA Days 14
14 проектов по автоматизации тестирования
1

3. План доклада
•
•
•
•
•
•
•
Формализуем ожидания от автоматизации;
Рассмотрим проекты;
Выявим проблемный проект;
Определим факторы, приведшие к
деградации;
Проведём анализ и сделаем выводы, как не
допустить ошибки;
Итоги полученного урока;
Вопросы и ответы.
2

4. Справедливые ожидания
•
Чем умнее и гибче решение, тем быстрее и надѐжнее тесты.
Уровень автоматизации
Трудозатраты
3

5. Справедливые ожидания
•
Чем сложнее решение, тем выше квалификация людей.
Квалификация
Сложность автоматизации
4

6. Предыстория
•
•
•
Схожие системы
Схожий состав команд
Схожая квалификация
5

7. Отчѐтность
6

8. Метрики
• Проекты соответствуют плановым ожиданиям, всѐ хорошо!
7

9. Наблюдения
• Всѐ идѐт по плану, а трудозатраты на разработку тестов растут?
8

10. Анализ метрик Framework
•
Меньше кода в тесте, больше проверок силами Framework-а
10

11. Анализ выполнения тестов
•
Логи тестовых прогонов системы continuous integration
3
2
1
11

12. Анализ выполнения тестов
•
Логи тестовых прогонов системы continuous integration
39,5%
12

13. Перспектива
13

14. Анализ Framework
• Static code analysis;
• Code-review;
• Сode profiling.
14

15. Анализ тестов
• Структура теста;
• Модульность теста;
• Описание проверок.
15

16. Причина деградации
А
B
C
А B C
16

17. Причина деградации
А
А B C
17

18. Причина деградации
А B C
18

19. Парадокс
•
Чем совершеннее разрабатывалось решение тем хуже становились
показатели разработки
9

20. Выявление и пресечение
•
•
Стандартная отчѐтность;
Оперативные методы определения проблем;
– Статический анализ кода;
– Code review;
•
Общие метрики разработки проекта.
19

21. Если всѐ уже случилось
Период кривой разработки
20

22. Мораль басни!
•
Техническая мораль:
– Технология не цель, а средство;
– Поддержка обратной совместимости без
фанатизма;
– Не отказывайтесь от проведения
периодического code-review;
– Использование меток @deprecated
•
Менеджерская мораль:
– Ведение базовых метрик проектов;
– Шаблоны отчѐтов.
21

23. Вопросы и ответы
•
Контакты: Skype: Picasso-Key
Email: d.khimion@pflb.ru
?
22

24. Большое спасибо!
•
Контакты: Skype: Picasso-Key
Email: d.khimion@pflb.ru

23