Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.
Тестирование миграции пользователей:
case study
t WITH PASSION TO QUALITY
Екатерина Шепелева
QA CONFERENCE #1 IN UKRAINE, ...
• Test Lead в EPAM
• Докладчик
QA Fest
Selenium Camp
BAQ Conference
Sigma Open Tech Week
...
• Со-автор первой в Украине н...
• Входные данные
• Подход
• Трудности
• Результат
t WITH PASSION TO QUALITY
KYIV 2018
План
Подготовительные работы,
занявшие полтора релиза
t WITH PASSION TO QUALITY
KYIV 2018
О чем я НЕ буду говорить
Case: Миграция пользователей и всех связанных данных в
базы другой системы
t WITH PASSION TO QUALITY
KYIV 2018
Входные дан...
Case: Миграция пользователей и всех связанных данных в
базы другой системы
t WITH PASSION TO QUALITY
KYIV 2018
Входные дан...
Case: Миграция пользователей и всех связанных данных в
базы другой системы
t WITH PASSION TO QUALITY
KYIV 2018
Входные дан...
Case: Миграция пользователей и всех связанных данных в
базы другой системы
t WITH PASSION TO QUALITY
KYIV 2018
Входные дан...
Case: Миграция пользователей и всех связанных данных в
базы другой системы
t WITH PASSION TO QUALITY
KYIV 2018
Входные дан...
t WITH PASSION TO QUALITY
KYIV 2018
Причины
• Единый логин
• Безопасность
Подход
t WITH PASSION TO QUALITY
KYIV 2018
Подготовка
t WITH PASSION TO QUALITY
KYIV 2018
Заголовок
t WITH PASSION TO QUALITY
KYIV 2018
Полезная штука 1
Спасительные эксельки
• шаги миграции
• сценарии тестирования
t WITH PASSION TO QUALITY
KYIV 2018
Полезная штука 2
SQL скрипты для сравнения состояний до и после миграции
t WITH PASSION TO QUALITY
KYIV 2018
Полезная штука 3
Максимальное логирование во время миграции*
*убедитесь, что хватает м...
t WITH PASSION TO QUALITY
KYIV 2018
Полезная штука 4
Без создания новых данных для покрытия всех сценариев
• Скриншоты состояний до/после миграции
• Думать не о скоупе сторей, а обо всех
реальных кейсах
• Подтвердить план тестиро...
Сценарии
тестирования
t WITH PASSION TO QUALITY
KYIV 2018
Заголовок
Техники тест дизайна:
• Equivalence partitioning
• Error guessing
• Decision tables
• Pairwise testing / All-Pairs
• …
= к...
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
Продукт 1
Продукт 2
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
Продукт 1
Продукт 2
Нет лицензии
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
Продукт 1
Продукт 2
Нет лицензии
Юзер 1
Юзер 2
Юзер 3
Юзер 4
Юзер 5
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
Продукт 1
Продукт 2
Нет лицензии
Юзер 1
Роли и
пермишены 1
Юзер 2
...
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
Продукт 1
Продукт 2
Нет лицензии
Юзер 1
Роли и
пермишены 1
2 3 4
Ю...
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
Продукт 1
Продукт 2
Нет лицензии
Юзер 1
Роли и
пермишены 1
2 3 4
Ю...
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
Продукт 1
Продукт 2
Нет лицензии
Юзер 1
Роли и
пермишены 1
2 3 4
Ю...
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
Продукт 1
Продукт 2
Нет лицензии
Юзер 1
Роли и
пермишены 1
2 3 4
Ю...
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
Продукт 1
Продукт 2
Нет лицензии
Юзер 1
Роли и
пермишены 1
2 3 4
Ю...
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
Продукт 1
Продукт 2
Нет лицензии
Юзер 1 1 2 3 4
Юзер 2 5 6 7 8
Юзе...
t WITH PASSION TO QUALITY
KYIV 2018
Продукт 1 Продукт 2
Продукт 1
Продукт 2
Нет лицензии
Юзер 1 1 2 3 4
Юзер 2 5 6 7 8
Юзе...
Тестирование
t WITH PASSION TO QUALITY
KYIV 2018
• QA/DEV энвы
• Репетиция миграции на Проде:
Staging с юзерами с Прода - 2 недели
• Client Тesting, Staging, Prod
t WITH P...
Тестирование миграции
t WITH PASSION TO QUALITY
KYIV 2018
Шаг 1
• Роли + лицензии + пермишены
• Личные данные + пароли
• Н...
Смоук основной функциональности
t WITH PASSION TO QUALITY
KYIV 2018
Шаг 2
Ваш
К.О.
t WITH PASSION TO QUALITY
KYIV 2018
Шаг 3: Интеграция
Все точки соприкосновения
t WITH PASSION TO QUALITY
KYIV 2018
Шаг 3: Интеграция
• Login/Logout
• Веб сервисы, Веб API
• OD...
• Свои пароли на тест энвах
• Без паролей на юзер энвах
t WITH PASSION TO QUALITY
KYIV 2018
Что делать с паролями?
Трудности
t WITH PASSION TO QUALITY
KYIV 2018
Подготовка
t WITH PASSION TO QUALITY
KYIV 2018
Заголовок
t WITH PASSION TO QUALITY
KYIV 2018
Проблема 1
Не тривиальная миграция базы
= тул для сравнения баз не подойдет
(Redgate SQL Compare, Visual Studio SQL и пр.)
t WITH PAS...
Время на проработку сценариев
тестирования и подбор тестовых данных
t WITH PASSION TO QUALITY
KYIV 2018
Проблема 2
Нет доступа к данным напрямую, работа с
экспортированными данными в csv/xls файлах
workaround - импортировать файлы в базу...
Миграция
t WITH PASSION TO QUALITY
KYIV 2018
Заголовок
t WITH PASSION TO QUALITY
KYIV 2018
Заголовок
Разные схемы базы
= лишняя колонка на тестовых энвах
t WITH PASSION TO QUALITY
KYIV 2018
Факап 1
Разные конфигурации серверов
= два сервера → юзеры создались дважды
t WITH PASSION TO QUALITY
KYIV 2018
Факап 2
Невалидные данные
• дубликаты
• запрещенные символы
• неподходящие пароли
t WITH PASSION TO QUALITY
KYIV 2018
Факап 3
Required field в одной базе - null value в другой
• First/Last Name
• Email
• Password
t WITH PASSION TO QUALITY
KYIV 2018...
Юзерам отправились письма раньше времени
t WITH PASSION TO QUALITY
KYIV 2018
Факап 5
Требования
t WITH PASSION TO QUALITY
KYIV 2018
Заголовок
Что-то не было продумано ранней архитектурой
t WITH PASSION TO QUALITY
KYIV 2018
Проблема 1
"Не прод кейс"
t WITH PASSION TO QUALITY
KYIV 2018
Проблема 2
Потеря данных
• Fax
• Phone number extension
t WITH PASSION TO QUALITY
KYIV 2018
Проблема 3
Не все было в требованиях → включать
critical thinking
t WITH PASSION TO QUALITY
KYIV 2018
Проблема 4
t WITH PASSION TO QUALITY
KYIV 2018
t WITH PASSION TO QUALITY
KYIV 2018
Сравнить схемы баз данных
required vs optional
string vs int
etc.
Пробелы перед/после email
t WITH PASSION TO QUALITY
KYIV...
Результат
t WITH PASSION TO QUALITY
KYIV 2018
• Успешная миграция
• 4 месяца в продакшене
• 0 багов от кастомеров
• 1 некритичный баг, найденный нами*
*непосредственно ...
t WITH PASSION TO QUALITY
KYIV 2018
Вопросы? Контакты
Контакты:
eshepelieva@gmail.com
eshepelieva
search for Kateryna Shep...
• Участвуйте в розыгрыше – подходите за анкетами
• Подходите играть на диван эксперта сегодня в 16:15
• Розыгрыш в 17:00 н...
Тема доклада
Тема доклада
Тема доклада
KYIV 2018
WITH PASSION TO QUALITY
QA CONFERENCE #1 IN UKRAINE
Próxima SlideShare
Cargando en…5
×

QA Fest 2018. Екатерина Шепелева. Case study: Тестирование миграции пользователей

162 visualizaciones

Publicado el

Хочу рассказать про наш опыт миграции пользователей в базы данных внешней системы, как мы выбирали подходы и сценарии для тестирования, с какими сложностями столкнулись, какие полезные выводы сделали. Никакой теории, исключительно разбор живого случая с конкретными примерами.

Publicado en: Educación
  • Sé el primero en comentar

  • Sé el primero en recomendar esto

QA Fest 2018. Екатерина Шепелева. Case study: Тестирование миграции пользователей

  1. 1. Тестирование миграции пользователей: case study t WITH PASSION TO QUALITY Екатерина Шепелева QA CONFERENCE #1 IN UKRAINE, KYIV 2018
  2. 2. • Test Lead в EPAM • Докладчик QA Fest Selenium Camp BAQ Conference Sigma Open Tech Week ... • Со-автор первой в Украине настольной игры для тестировщиков t WITH PASSION TO QUALITY KYIV 2018 Обо мне
  3. 3. • Входные данные • Подход • Трудности • Результат t WITH PASSION TO QUALITY KYIV 2018 План
  4. 4. Подготовительные работы, занявшие полтора релиза t WITH PASSION TO QUALITY KYIV 2018 О чем я НЕ буду говорить
  5. 5. Case: Миграция пользователей и всех связанных данных в базы другой системы t WITH PASSION TO QUALITY KYIV 2018 Входные данные
  6. 6. Case: Миграция пользователей и всех связанных данных в базы другой системы t WITH PASSION TO QUALITY KYIV 2018 Входные данные Заказчик
  7. 7. Case: Миграция пользователей и всех связанных данных в базы другой системы t WITH PASSION TO QUALITY KYIV 2018 Входные данные Заказчик Проект 1 Проект 2 Проект NМЫ ОНИ…
  8. 8. Case: Миграция пользователей и всех связанных данных в базы другой системы t WITH PASSION TO QUALITY KYIV 2018 Входные данные Заказчик Проект 1 Проект 2 Проект NМЫ ОНИ…
  9. 9. Case: Миграция пользователей и всех связанных данных в базы другой системы t WITH PASSION TO QUALITY KYIV 2018 Входные данные Заказчик Проект 1 Проект 2 Проект NМЫ ОНИ…
  10. 10. t WITH PASSION TO QUALITY KYIV 2018 Причины • Единый логин • Безопасность
  11. 11. Подход t WITH PASSION TO QUALITY KYIV 2018
  12. 12. Подготовка t WITH PASSION TO QUALITY KYIV 2018 Заголовок
  13. 13. t WITH PASSION TO QUALITY KYIV 2018 Полезная штука 1 Спасительные эксельки • шаги миграции • сценарии тестирования
  14. 14. t WITH PASSION TO QUALITY KYIV 2018 Полезная штука 2 SQL скрипты для сравнения состояний до и после миграции
  15. 15. t WITH PASSION TO QUALITY KYIV 2018 Полезная штука 3 Максимальное логирование во время миграции* *убедитесь, что хватает места для лога
  16. 16. t WITH PASSION TO QUALITY KYIV 2018 Полезная штука 4 Без создания новых данных для покрытия всех сценариев
  17. 17. • Скриншоты состояний до/после миграции • Думать не о скоупе сторей, а обо всех реальных кейсах • Подтвердить план тестирования t WITH PASSION TO QUALITY KYIV 2018 Что также было полезно
  18. 18. Сценарии тестирования t WITH PASSION TO QUALITY KYIV 2018 Заголовок
  19. 19. Техники тест дизайна: • Equivalence partitioning • Error guessing • Decision tables • Pairwise testing / All-Pairs • … = каждая комбинация протестирована хотя бы один раз t WITH PASSION TO QUALITY KYIV 2018 Стряхнем пыль с ISTQB…
  20. 20. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1
  21. 21. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2
  22. 22. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2 Продукт 1 Продукт 2
  23. 23. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2 Продукт 1 Продукт 2 Нет лицензии
  24. 24. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2 Продукт 1 Продукт 2 Нет лицензии Юзер 1 Юзер 2 Юзер 3 Юзер 4 Юзер 5
  25. 25. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2 Продукт 1 Продукт 2 Нет лицензии Юзер 1 Роли и пермишены 1 Юзер 2 Юзер 3 Юзер 4 Юзер 5
  26. 26. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2 Продукт 1 Продукт 2 Нет лицензии Юзер 1 Роли и пермишены 1 2 3 4 Юзер 2 5 6 7 8 Юзер 3 9 10 11 12 Юзер 4 13 14 15 16 Юзер 5 17 18 19 20
  27. 27. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2 Продукт 1 Продукт 2 Нет лицензии Юзер 1 Роли и пермишены 1 2 3 4 Юзер 2 5 6 7 8 Юзер 3 9 10 11 12 Юзер 4 13 14 15 16 Юзер 5 17 18 19 20
  28. 28. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2 Продукт 1 Продукт 2 Нет лицензии Юзер 1 Роли и пермишены 1 2 3 4 Юзер 2 5 6 7 8 Юзер 3 9 10 11 12 Юзер 4 13 14 15 16 Юзер 5 17 18 19 20
  29. 29. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2 Продукт 1 Продукт 2 Нет лицензии Юзер 1 Роли и пермишены 1 2 3 4 Юзер 2 5 6 7 8 Юзер 3 9 10 11 12 Юзер 4 13 14 15 16 Юзер 5 17 18 19 20
  30. 30. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2 Продукт 1 Продукт 2 Нет лицензии Юзер 1 Роли и пермишены 1 2 3 4 Юзер 2 5 6 7 8 Юзер 3 9 Юзер 4 13 14 15 16 Юзер 5 17 18 19 20
  31. 31. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2 Продукт 1 Продукт 2 Нет лицензии Юзер 1 1 2 3 4 Юзер 2 5 6 7 8 Юзер 3 9 Юзер 4 13 14 15 16 Юзер 5 17 18 19 20
  32. 32. t WITH PASSION TO QUALITY KYIV 2018 Продукт 1 Продукт 2 Продукт 1 Продукт 2 Нет лицензии Юзер 1 1 2 3 4 Юзер 2 5 6 7 8 Юзер 3 9 Юзер 4 10 Юзер 5 11
  33. 33. Тестирование t WITH PASSION TO QUALITY KYIV 2018
  34. 34. • QA/DEV энвы • Репетиция миграции на Проде: Staging с юзерами с Прода - 2 недели • Client Тesting, Staging, Prod t WITH PASSION TO QUALITY KYIV 2018 Шаг 0: Энвы
  35. 35. Тестирование миграции t WITH PASSION TO QUALITY KYIV 2018 Шаг 1 • Роли + лицензии + пермишены • Личные данные + пароли • Новые и существующие юзеры • Специальные флаги / сценарии / пользователи
  36. 36. Смоук основной функциональности t WITH PASSION TO QUALITY KYIV 2018 Шаг 2 Ваш К.О.
  37. 37. t WITH PASSION TO QUALITY KYIV 2018 Шаг 3: Интеграция
  38. 38. Все точки соприкосновения t WITH PASSION TO QUALITY KYIV 2018 Шаг 3: Интеграция • Login/Logout • Веб сервисы, Веб API • OData • Ссылки на UI новой системы (например, Manage profile) • Регистрация – существующий email и т.д.
  39. 39. • Свои пароли на тест энвах • Без паролей на юзер энвах t WITH PASSION TO QUALITY KYIV 2018 Что делать с паролями?
  40. 40. Трудности t WITH PASSION TO QUALITY KYIV 2018
  41. 41. Подготовка t WITH PASSION TO QUALITY KYIV 2018 Заголовок
  42. 42. t WITH PASSION TO QUALITY KYIV 2018 Проблема 1
  43. 43. Не тривиальная миграция базы = тул для сравнения баз не подойдет (Redgate SQL Compare, Visual Studio SQL и пр.) t WITH PASSION TO QUALITY KYIV 2018 Проблема 1
  44. 44. Время на проработку сценариев тестирования и подбор тестовых данных t WITH PASSION TO QUALITY KYIV 2018 Проблема 2
  45. 45. Нет доступа к данным напрямую, работа с экспортированными данными в csv/xls файлах workaround - импортировать файлы в базу локально, использовать джоины t WITH PASSION TO QUALITY KYIV 2018 Проблема 3
  46. 46. Миграция t WITH PASSION TO QUALITY KYIV 2018 Заголовок
  47. 47. t WITH PASSION TO QUALITY KYIV 2018 Заголовок
  48. 48. Разные схемы базы = лишняя колонка на тестовых энвах t WITH PASSION TO QUALITY KYIV 2018 Факап 1
  49. 49. Разные конфигурации серверов = два сервера → юзеры создались дважды t WITH PASSION TO QUALITY KYIV 2018 Факап 2
  50. 50. Невалидные данные • дубликаты • запрещенные символы • неподходящие пароли t WITH PASSION TO QUALITY KYIV 2018 Факап 3
  51. 51. Required field в одной базе - null value в другой • First/Last Name • Email • Password t WITH PASSION TO QUALITY KYIV 2018 Факап 4
  52. 52. Юзерам отправились письма раньше времени t WITH PASSION TO QUALITY KYIV 2018 Факап 5
  53. 53. Требования t WITH PASSION TO QUALITY KYIV 2018 Заголовок
  54. 54. Что-то не было продумано ранней архитектурой t WITH PASSION TO QUALITY KYIV 2018 Проблема 1
  55. 55. "Не прод кейс" t WITH PASSION TO QUALITY KYIV 2018 Проблема 2
  56. 56. Потеря данных • Fax • Phone number extension t WITH PASSION TO QUALITY KYIV 2018 Проблема 3
  57. 57. Не все было в требованиях → включать critical thinking t WITH PASSION TO QUALITY KYIV 2018 Проблема 4
  58. 58. t WITH PASSION TO QUALITY KYIV 2018
  59. 59. t WITH PASSION TO QUALITY KYIV 2018
  60. 60. Сравнить схемы баз данных required vs optional string vs int etc. Пробелы перед/после email t WITH PASSION TO QUALITY KYIV 2018 Что также было БЫ полезно
  61. 61. Результат t WITH PASSION TO QUALITY KYIV 2018
  62. 62. • Успешная миграция • 4 месяца в продакшене • 0 багов от кастомеров • 1 некритичный баг, найденный нами* *непосредственно по миграции t WITH PASSION TO QUALITY KYIV 2018 Результат
  63. 63. t WITH PASSION TO QUALITY KYIV 2018 Вопросы? Контакты Контакты: eshepelieva@gmail.com eshepelieva search for Kateryna Shepelieva search for eshepelieva search for testogame Спасибо за внимание!
  64. 64. • Участвуйте в розыгрыше – подходите за анкетами • Подходите играть на диван эксперта сегодня в 16:15 • Розыгрыш в 17:00 на диване эксперта t WITH PASSION TO QUALITY KYIV 2018 Настольная игра для тестировщиков TESTO
  65. 65. Тема доклада Тема доклада Тема доклада KYIV 2018 WITH PASSION TO QUALITY QA CONFERENCE #1 IN UKRAINE

×