Grail - library for python. Presentation on CodeFest'2015.

1. Grail: шаги для ваших
Python-тестов
Игорь Хрол
QA Automation Team Lead
Wargaming.NET

2. О себе
• Игорь Хрол
• QA Automation Team Lead в
Wargaming.NET
• 9 лет в отрасли
• Инженер, архитектор, менеджер,
консультант, тренер
• Пишу код с 12-ти лет
• www.khroliz.com

4. Жила-была…
Команда автоматизации тестирования

5. …и получала она на вход задачи
JIRA-1
Created
JIRA-2
Created
JIRA-3
Created

6. …и получала она на вход задачи
…а отдавала в статусе Resolved
JIRA-1
Created
JIRA-2
Created
JIRA-3
Created
JIRA-1
Resolved
JIRA-2
Resolved
JIRA-3
Resolved

7. …и не понимали Проекты, когда они
получат автоматизацию

8. …и не понимала Команда, что от неё
хотели Проекты

9. …«ручные» QA-соратники вне команды
не умели автоматизировать, хотя и
очень хотели

10. …требовалось написать детальные тест-
кейсы, чтобы автоматизатор
заавтоматизировал, а времени не хватало

11. Проект 2Проект 1
…и разошлись автоматизаторы по
Проектам, дабы на местах
распространять знания и автотесты
Проект 5Проект 4Проект 3
Проект 1

12. Проект 2Проект 1
…но дабы не терять связей
объединились они в Орден, несущий
знания всем и сразу!
Проект 5Проект 4Проект 3

13. …и нашёл Орден Грааль, который
помогает нести автотесты в массы и
привлекать новых служителей!

14. …и поделился Орден Граалем со всем
миром, чтобы сверкал он ещё ярче!
https://github.com/wgnet/grail

15. И как он выглядит?

16. Grail
Позволяет писать автотесты на основе шагов

17. Grail
Позволяет писать автотесты на основе шагов
@step - декоратор, превращающий метод
или функцию в шаг

18. Аналоги: Thucydides (Java)
http://www.thucydides.info/
Многофункциональный комбайн

19. Аналоги: Allure
http://allure.qatools.ru/
Отчёты для ваших тестов

20. Аналоги: Allure
http://allure.qatools.ru/
Отчёты для ваших тестов
Когда-нибудь можно интегрировать с Grail

21. Базовый пример

22. Базовый пример

23. А зачем?

24. Как обычно выглядит процесс
написания автотестов…
«Ручной»
QA

25. Как обычно выглядит процесс
написания автотестов…
«Ручной»
QA
Тест Кейс

26. Как обычно выглядит процесс
написания автотестов…
«Ручной»
QA
Тест Кейс Auto QA

27. Как обычно выглядит процесс
написания автотестов…
«Ручной»
QA
Тест Кейс Auto QA Тест
Скрипт

28. Test Case vs Test Script
Step 1: login to application def login_to_application():
…
Step 2: verify user is logged in def verify_user_is_logged_in():
…
Step 3: do some important thing def do_some_important_thing():
…

29. Test Case vs Test Script
Step 1: login to application def login_to_application():
…
Step 2: verify user is logged in def verify_user_is_logged_in():
…
Step 3: do some important thing def do_some_important_thing():
…
Как-то оно похоже..

30. Test Case vs Test Script
Step 1: login to application def login_to_application():
…
Step 2: verify user is logged in def verify_user_is_logged_in():
…
Step 3: do some important thing def do_some_important_thing():
…
Как-то оно похоже..
Надо писать два раза…

31. Test Case vs Test Script
Step 1: login to application def login_to_application():
…
Step 2: verify user is logged in def verify_user_is_logged_in():
…
Step 3: do some important thing def do_some_important_thing():
…
Как-то оно похоже..
Надо писать два раза…
И исправлять в двух местах…

32. Как решить?
А давайте генерировать тест-кейс из кода!
«Ручной»
QA

33. Как решить?
А давайте генерировать тест-кейс из кода!
«Ручной»
QA
Тест Скрипт

34. Как решить?
А давайте генерировать тест-кейс из кода!
«Ручной»
QA
Тест Скрипт Auto QA

35. Как решить?
А давайте генерировать тест-кейс из кода!
«Ручной»
QA
Тест Скрипт Auto QA
Реализация
Шагов

36. Плюсы подхода
• Нет дублирования работы

37. Плюсы подхода
• Нет дублирования работы
• Повышается технический уровень QA

38. Плюсы подхода
• Нет дублирования работы
• Повышается технический уровень QA
• Нет новых «языков» вроде BDD-style,
Keyword Driven и прочего…

40. Как это выглядит…

41. Как это выглядит…

43. Жёсткие рамки
Вся логика тестов должна быть внутри шагов

44. Жёсткие рамки
Вся логика тестов должна быть внутри шагов

45. export_mode = True
• Холостой прогон тестов, без выполнения
шагов

46. export_mode = True
• Холостой прогон тестов, без выполнения
шагов
• Проверка того, что все пишут тесты корректно

47. export_mode = True
Тесты в export_mode должны быть passed

48. Запуск в CI по комитам

49. export_mode = True
output тестов в export_mode можно считать «ручным»
тест-кейсом
>> some actions
>> verify result correctness (4)

50. export_mode = True
output тестов в export_mode можно считать «ручным»
тест-кейсом
>> some actions
>> verify result correctness (4)
И отправить в вашу любимую Test Management
System!

52. Grail может больше!
Вы можете адаптировать вывод шагов

53. Логирование параметров и
результатов шагов

54. Где хочешь!
Шаги можно хранить, где угодно

55. step_group
Объединяет шаги в группы

56. step_group

57. description
PASSED login to application
PASSED Some tricky actions with the application which I can't put to method name

58. format_description
PASSED Some info: value, another info: kw_value
value
kw_value
100500

59. Ну и ещё пара возможностей…

60. Выключается в fixtures
• Шаги ведут себя как обычные методы-
функции в
– setup_package (_module, _class)
– teardown_package (_module, _class)
– teardown

61. Выключается в fixtures
• Шаги ведут себя как обычные методы-
функции в
– setup_package (_module, _class)
– teardown_package (_module, _class)
– teardown
• Исключение: setup

62. treat_nested_steps_as_methods
PASSED external step

63. log_output
PASSED log output -> Important output
PASSED do not log output

64. Итого по Grail

65. Итого по Grail
• Пишем код автотестов сразу

66. Итого по Grail
• Пишем код автотестов сразу
Долой лишние бумажки и документы!

67. Итого по Grail
• Пишем код автотестов сразу
Долой лишние бумажки и документы!
• Подключаем «ручных» тестировщиков к
кодированию

68. Итого по Grail
• Пишем код автотестов сразу
Долой лишние бумажки и документы!
• Подключаем «ручных» тестировщиков к
кодированию
Долой псевдоязыки (BDD) и Keyword-driven!

69. Итого по Grail
• Пишем код автотестов сразу
Долой лишние бумажки и документы!
• Подключаем «ручных» тестировщиков к
кодированию
Долой псевдоязыки (BDD) и Keyword-driven!
• Контроль кода автотестов в Continuous Integration

70. Итого по Grail
• Пишем код автотестов сразу
Долой лишние бумажки и документы!
• Подключаем «ручных» тестировщиков к
кодированию
Долой псевдоязыки (BDD) и Keyword-driven!
• Контроль кода автотестов в Continuous Integration
• Открытый и бесплатный

71. Спасибо!
Q&A
Ссылки:
– https://github.com/wgnet/grail
– http://wgnet.github.io/grail/
– https://pypi.python.org/pypi/grail
Контакты:
Игорь Хрол
i_khrol@wargaming.net
khroliz@gmail.com
skype: igor.khrol
http://www.khroliz.com