Доклад Юлии Малышевой на встрече Московского клуба тестировщиков в офисе Mail.ru (23.01.16)

1. Нам нужны инструменты!
Тестирование и мониторинг мобильного приложения BOOKMATE

2. Обо мне
Лидер команды по
тестированию в компании
Bookmate
1 год в тестировании мобильных
приложений
5+ лет в тестировании

3. Давайте познакомимся!

4. О докладе
Полезные инструменты для тестирования
Релиз и снижение рисков
Мониторинг после релиза

6. О проекте
Bookmate - сервис для чтения электронных книг по подписке. Удобный
способ читать и находить книги.
Есть приложения для iOS, Android, WP и полноценное веб-приложение.
4 млн. пользователей
10 поддерживаемых языков
20 - разработчиков vs 4 - тестировщика (1 автоматизатор)
3-х недельные итерации

7. Релиз…

8. Релиз!

9. Проблема
● Долгий фитбек от пользователей
● Не знаем о состоянии релиза
● Недельное ревью на iOS
● Расплывчатые/ невоспроизводимые баги от саппорта с задержкой в 1-2 суток после релиза
● Не можем проверить билд на всех девайсах (особенно актуально для Android)

10. Решение
Не все находят решение проблемы.
Вернее, найти решение могут не только лишь все.
Мало кто может это делать…

11. 1.Slack
● удобный и красивый
командный мессенджер
● интеграция с большим
количеством сервисов
● широкие возможности
кастомизации
● доступно во всех
популярных платформах

12. “Eating your own dog food” или “dogfooding”

13. Создали чат #bug

14. Выделили “пожарного” из команды

15. Чат #apprevies

16. Чаты #crash-android и #crash-ios

17. 2. Почта

18. Мгновенное оповещение о крашах

19. Оповещение об ошибках на Backend/Frontend

20. 3. Fabric & Crashlytics

21. Удобная и приятная интеграция

22. Легко управлять группой тестировщиков билда

23. Установка билда на девайс

24. Crash

25. Просмотр статистики

26. Отчеты на почту

27. 4. Support

28. 4. Support
Перешли в режим 24/7
Внедрили Zendesk и получили единый способ получить помощь и на сайте
и в приложениях

29. 5. Аналитика

30. 5. Аналитика

31. Hotfix

32. Снижаем риски
Фреймворк для a/b тестов, с возможностью выключать фичи без
перевыкладки
Поэтапное внедрение (Google)
Рефакторинг чек-листов: + 2% crash-free после рефакторинга 40% чек-
листов

33. Тестирование до релиза

34. Установка приложения
Android - установка .apk через ADB (Android Debug Bridge) или Google Play Beta на финальных этапах тестирования
iOS - Crashlitycs или самостоятельная сборка на девайсы или эмуляторы через XCode

35. Сбор логов
iOS - логи в консоли эмулятора или Window >
Devices для подключенных девайсов
Android - LogCat в ADB(Android Debug Bridge) - можно
вывести в консоль, можно писать в файл
Сниффер трафика - Charles - простой в настройке и
удобный в использовании

36. Шейпим трафик

37. Наши показатели
99,7% crash-free - iOS
98% crash-free - Android
Доступность сервиса: 99,89 %

38. Спасибо за внимание!

39. Вопросы?