How to do performance testing effectively

1. Эффективное нагрузочное
тестирование
Андрей Похилько
JMeter Plugins + Loadosophia.org
Киев, 20 апреля 2012г.

2. Путь в нагрузочное тестирование
Email: apc@apc.kg Twitter:@jmeter_plugins

3. Нам не хватает эффективности
 Вслепую!
 Все больше вопросов
 Повторяем тесты
 Теряем результаты
Думаете, все это – нормально?

4. Где взять эффективность
 Что и как делает инструмент
 Правильная последовательность
тестов
 Знание типовых узких мест
 Представление результатов
 Доступ к результатам

5. Понимаем инструмент
 Сценарные: LR, grinder, tsung, ab
 Пулемёты: phantom, gatling
 Что делает при деградации сервиса
 JMeter может и то и другое, но!

6. Что мне подойдет?
 Зависит от сервиса
 Очень часто нужен пулемёт
 Но вынуждены брать сценарный
 Ответ: следите за рейтом запросов
RPS

7. Правильная последовательность
 Setup / Debug S
 Capacity (Stress) C
 Measure (Performance) M
 Endurance / Spike / Whatever... E

8. Capacity: знай меру
 Ключевой тест
 Точка предела по RPS
 Начало деградации
 Проблемный ресурс

9. Capacity: пулемётом

10. Capacity: пример пулемётом

11. Capacity: пример пулемётом

12. Capacity: линейно-ступенчато

13. Линейно-ступенчатый пример

14. Capacity: сценарным

15. Capacity: пример сценарным

16. Measure: уровень качества
 Постоянная нагрузка
 Комфортная нагрузка
 Кумулятивные метрики
 Распределения

17. Measure: уровень качества

18. Measure: пример пулемётом

19. Measure: процентильный график

20. Spike/Endurance/Whatever
У вас не будет на это времени

21. Типовые узкие места
 Берем сценарный инструмент
 Предел по CPU
 Предел по сети – очень неприятно
 Предел по диску

22. Capacity: пример пулемётом

23. Capacity: пример пулемётом

24. Capacity: пример сценарным

25. Capacity: пример сценарным

26. Capacity: пример сценарным
90%

27. Типовые узкие места
 Внешние вызовы
 Недоконфигурирование
 Блокировки
 Системные ограничения
 Генератор нагрузки!

28. Реальность вносит коррективы
 Так все же сценарный или пулемет
 Разные по тяжести запросы – проблема
 Таймеры — зло, но необходимое
 Все совсем неидеально на практике
 Крепитесь!

29. Автоматизация серий тестов
 Ночью просыпаются роботы
 Zero Setup – тест по кнопке
 Jenkins / Bamboo / Whatever
 Авто-стоп

30. Представление результатов
 Экономьте время, свое и чужое
 Менеджменту – немного цифр и
тренды
 Себе и разработчикам – понятность
 Составные графики и компоновка
+ отчета =
 Интерактивность

31. Доступ к результатам
 Отладка превращается в измерение
 Понадобится то, что не сохранили
 Организация хранения экономит время
 Loadosophia.org – пример хранилища

32. Loadosophia.org

33. Где взять эффективность
 Что и как делает инструмент
 Правильная последовательность
тестов
 Знание типовых узких мест
 Представление результатов
 Доступ к результатам

34. Happy End
Вопросы?
 Email: apc@apc.kg
 Twitter: @jmeter_plugins