Доклад Валерия Иванчука на конференции SQADays-14, Львов 8-9 ноября 2013

1. Нагрузочное тестирование в сжатые
сроки
Валерий Иванчук. Luxoft (Днепропетровск)
Инструктор Учебного Центра Luxoft Training

2. Изменим
мир тестирования
•
Каждый автоматический тестировщик приходит со своим
инструментарием и абсолютно свободен в своих действиях. И мы с
радостью делимся и интструментарием и опытом.
•
Автоматический набор тестов должен находить баги и затраты на его
написание не должны превышать затрат на создание подобного
тестового набора мануальщиками.

3. Сравним результаты
тестирования
Microsoft Visual Studio C# 2010 Ultimate
Сharles 3.8.1

4. Срочно проверить !!!
•
Нужно оценить производительность Web Service

5. Microsoft Visual Studio
Ultimate
• $13,600
• $4345 (Обновление)

6. Шаг 1. Создать тестовый
проект

7. Шаг 2. Добавить ссылку на
сервис

8. Шаг 3. Создать комплект
функциональных тестов

9. Шаг 4. Добавить
нагрузочный тест

10. Шаг 5. Добавить
нагрузочный тест

11. Шаг 5. Добавить
нагрузочный тест

12. Шаг 5. Добавить
нагрузочный тест

13. Шаг 5. Добавить
нагрузочный тест

14. Шаг 5. Добавить
нагрузочный тест

15. Шаг 5. Добавить
нагрузочный тест

16. Шаг 5. Добавить
нагрузочный тест

17. Шаг 5. Добавить
нагрузочный тест

18. Шаг 6. Запустить
нагрузочный тест

19. Шаг 6. Запустить
нагрузочный тест

20. Шаг 7. Выписать основные
показатели

21. Шаг 8. Все повторить
несколько раз

22. Шаг 9. Обработать
статистику

23. Сharles
•
Дешевое решение: Charles 3.8.1

24. 1-3 шаги совпадает с
предыдущими

25. 4. Закрываем все веббраузеры

26. 5. Стартуем Сharles

27. 6. Запускаем
функциональный тест

28. 6. Запускаем
функциональный тест

29. 7. Задаем значения для
нагрузочного теста
Name
TestAdd
Scenario Total Tests Failed Tests (% of total) Avg. Test Time (sec)
Scenario
3,610
0 (0)
3.10
1

30. 8. Запускаем нагрузочный
тест

31. 9. Открываем Excel и
копируем туда все запросы

32. 10. Создаем новую колонку
=VALUE(REPLACE(INDIRECT(ADDRESS(ROW();6));FIND("ms";INDIRECT(A
DDRESS(ROW();6));1);2;""))

33. 10. Создаем график для
новой колонки

34. Заключение
•
Именно потому, что полученные значения находятся в диапазоне
предыдущих серий мы можем заключить, что данная информация
является более-менее достоверной и принять еѐ за эталон. Все
дальнейшие измерения можно соотносить с полученным результатом и
делать выводы об ухудшении/улучшении призводительности. Очень
осторожно надо относится к абсолютным показателям, помня о
житейской мудрости, что всѐ в жизни относительно.