1. ORACLE
PRODUCT
LOGO
Application Quality Management
Обзор средств Тестирования
Борис Пищик – Консультант, Oracle CIS
1
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Email: boris.pischik@oracle.com
Insert Information Protection Policy Classification from Slide 8

2. Подход Oracle к Тестированию
Middleware
RDBMS
O/S, Hardware
Application Replay
Infrastructure
Infrastructure
Testing tools Tools
Testing
Real Application Testing
Application Testing Suite
Application
Testing tools
Storage
Infrastructure Changes –
реальная нагрузка
Application Changes –
«синтетическая» нагрузка
• Тестирование приложений под реальной и синтетической нагрузкой
• Охват всех уровней технологического стека при тестировании
2
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.

3. Application Testing Suite
3
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.

4. Oracle Application Testing Suite
Интегрированное решение для «синтетического» тестирования
Oracle Functional Testing
Oracle Test Manager
4
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Oracle Load Testing

5. Oracle Test Manager
Структурированное, открытое и наглядное управление тестированием.
Основные преимущества
• Интегрированная среда для полного
контроля над процессом тестирования
• Web-интерфейс
• Планы/Требования/Тесты/Проблемы
• Запуск тестов
• Контроль доступа – разные роли
• Визуализация статуса тестирования
• Графические отчеты
5
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.

6. Oracle Functional Testing
Простое в освоении средство функционального тестирования
Преимущества:
• Простота создания тестовых сценариев
• Возможность «кастомизации» скриптов
тестирования
• Различный уровень детализации:
– Визуальный (GUI)
– Опытный пользователь (JAVA code UI)
• Полный контроль над тестовым
сценарием (возможность добавления
проверок и т.д.)
• Удобная среда пользователя
• Параметризация и корреляция
6
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.

7. Oracle OpenScript – создание скриптов
7
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.

8. Oracle Load Testing
Автоматизация нагрузочного тестирования
Преимущества
• Эмуляция нагрузки с помощью
«виртуальных пользователей»
• Отчеты, помогающие определить
предел нагрузки на приложение
• Интегрирован с Enterprise Manager
• Планирование аппаратных ресурсов
• Автоматический запуск и останов теста
• Статистика производительности
инфраструктурных компонентов
8
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.

9. Качественные скрипты за короткое время
Акселераторы
Сокращают время создания скриптов
9
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.

10. Готовые наборы скриптов для тестирования
10
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.

11. Oracle Application Testing Suite 12.3 - NEW
• Обеспечивает
•
•
•
•
•
Functional/Regression testing
Load/Performance testing
Test Management
Web, Siebel, EBS/Forms, ADF, JD Edwards E1, Adobe ® Flex, Database &
WebServices, Hyperion, PeopleSoft, JD Edwards Functional - НОВЫЕ
Сокращает время на создание тестовых скриптов на ~50%
11
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
• Мультиплатформенность Windows/Linux
• Серверные компоненты Test Manager и Load Testing могут работать под Linux
• Hardware estimation
• Автоматическая оценка мощности аппаратной платформы для сценариев
нагрузочного/стресс тестирования
• Улучшенные библиотеки корреляции. Поддержка Chrome

12. Oracle Flow Builder (для EBS)
• Возможность ручного создания скриптов из готовых компонентов
– Библиотека из 3000 компонентов и 200 «потоков»
– Будут поставляться
”Advanced packs” с
дополнительными потоками и
компонентами
(ожидается в 2014 г.)
12
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Insert Information Protection Policy Classification from Slide 8

13. Oracle EBS QA
•
Команда Oracle EBS QA одна из крупнейших в индустрии разработки ПО
•
Использует Application Testing Suite как стандартную платформу для тестирования
•
Библиотека из более 41200 тестовых скриптов
•
6280 часов (261 дней) автоматизированного тестирования
13
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.

14. Подход Oracle к Тестированию
Application
Middleware
RDBMS
O/S, Hardware
Application Replay
Infrastructure
Infrastructure
Testing tools Tools
Testing
Real Application Testing
Application Testing Suite
Application
Testing tools
Storage
Infrastructure Changes – реальная
нагрузка
14
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Application Changes –
«синтетическая» нагрузка

15. Средства тестирования под реальной нагрузкой
Application Replay
Изменения логики приложения
Client
Изменения инфраструктуры
Middle Tier
Client
…
Client
Middle Tier
Real Application Testing
Обновление БД, Патчи
Схема, Параметры
RAC узлы, Миграция
Обновления OS и Hardware
CPU, RAM, Storage и т.д.
15
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Storage
Запись
запросов от
внешних
клиентов

16. Real Application Testing
16
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.

17. Real Application Testing (RAT)
Решение для высококачественного тестирования на уровне БД
• Состав продукта:
• Database Replay захват/воспроизведение нагрузки на БД
Deploy
Test
• SQL Performance Analyzer (SPA) анализ производительности SQLзапросов
17
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Change
Remediate

18. Database Replay – процесс тестирования
1
Захват
2
Воспроизведение
3
• Захват Нагрузки в Рабочей системе
Анализ и Настройка
– Полный захват реальной нагрузки с сохранением всех характеристик:
временные интервалы, порядок транзакций и т.д., запись в файлы
– Перенос файлов нагрузки в тестовую среду и обработка
• Воспроизведение Нагрузки в Тестовой среде
– Применение планируемых изменений в тестовой среде
– Полноценное воспроизведение нагрузки
• Анализ & Отчетность
– Сравнительные отчеты: Захват vs. Воспроизведение
– Диагностические отчеты AWR, ASH,ADDM
18
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Analysis & Reporting

19. 19
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.

20. 20
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.

21. RAT Consolidated Replay - NEW
Одновременное воспроизведение нагрузок, записанных на разных БД
ERP
Container Database
CRM
ERP
DW
21
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
CRM
DW

22. RAT Workload Scale Up - NEW
SALES
HR
ERP
CRM
• Искусственное масштабирование нагрузки для планирования консолидации
• Time Shifting - Совмещение «пиковых» периодов из разных нагрузок
• Workload Folding - Вырезание и совмещение временных интервалов из одной нагрузки
• Schema Remapping - Одновременное воспроизведение одной нагрузки в разных схемах
22
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.

23. SQL Performance Analyzer (SPA)
Детальный анализ влияния изменений на SQL–запросы
•
•
•
•
•
Детальный анализ по каждому SQLзапросу
Интеграция с STS, SQL Plan Baselines,
SQL Tuning Advisor
Детальный отчет о расхождениях –
выполнение «До» и «После»
Сравнение результатов
производительности конкретных SQLзапросов
Минимальное влияние на
производительность рабочей системы
при захвате SQL в SQL Tuning Set (STS)
24
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
SQL Workload
STS
SQL plans + stats
Pre-change Trial
Compare
SQL Performance
Analysis Report
SQL plans + stats
Post-change Trial

24. SPA: Типичные области применения
• Обновление ПО СУБД, установка patch-set
– 9.2/10.1 10.2 , 11g, 12c
– 11.2.0.3 11.2.0.4
• Обновление статистики оптимизатора запросов
• Изменение параметров экземпляра БД
• Изменения схемы БД (добавление/удаление индексов)
• Применение рекомендаций по настройке
• Изменения на уровне I/O (напр. Переход на ASM, Exadata)
SPA может быть использован для:

Любых изменений, влияющих на планы выполнения и производительность SQL

Тестирования как на рабочей так и тестовой БД
25
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
MOS Note: 560977.1

25. SPA Отчеты
3
2
5
1
4
26
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.

26. Подход Oracle к Тестированию
Application
Middleware
RDBMS
O/S, Hardware
Application Replay
Infrastructure
Infrastructure
Testing tools Tools
Testing
Real Application Testing
Application Testing Suite
Application
Testing tools
Storage
Infrastructure Changes – реальная
нагрузка
27
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Application Changes –
«синтетическая» нагрузка

27. Application Replay
28
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.

28. Application Replay
Захват реальной нагрузки на уровне приложения
• Захват нагрузки приложения (http запросы)
на рабочей системе
• Использует RUEI для захвата операций
пользователей и данных об их
производительности
Рабочая
система
Пользователи
Тестовая
система
Агенты
воспроизведения
• Нулевая дополнительная нагрузка на рабочую
систему
• Воспроизведение полной нагрузки на
тестовой системе
• С характеристиками нагрузки рабочей системы
• Анализ и Отчёты
• Расхождения при воспроизведении: доступ,
содержимое, …
• Время загрузки страниц, количество
просмотров страниц, время размышления
29
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
СХД
Захват
Insert Information Protection Policy Classification from Slide 8
СХД
Проигрывание
Анализ &
Отчёты

29. Application Replay - Анализ и Отчёты 1
• Итоговый отчёт
– Расхождения при воспроизведении
– Средняя скорость загрузки страниц
– Страницы, создающие наибольшую нагрузку
30
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Insert Information Protection Policy Classification from Slide 8

30. Application Replay - Анализ и отчёты 2
• Анализ страниц
– Метрики
31
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Insert Information Protection Policy Classification from Slide 8

31. Подход Oracle к Тестированию
Application
Middleware
RDBMS
O/S, Hardware
Application Replay
Infrastructure
Infrastructure
Testing tools Tools
Testing
Real Application Testing
Application Testing Suite
Application
Testing tools
Storage
Infrastructure Changes – реальная
нагрузка
32
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Application Changes –
«синтетическая» нагрузка
Insert Information Protection Policy Classification from Slide 8

32. Test Data Management
33
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Insert Information Protection Policy Classification from Slide 8

33. Управление тестовыми данными
Решения
Выявление
секретных
данных
Маскирование
данных
Урезание
Данных
Модель данных
Подготовка
тестовой
системы
34
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Insert Information Protection Policy Classification from Slide 8

34. Data Subsetting – «урезание» данных
Создание подмножества данных в тестовых БД
Export =
Production
Import
Запись подмножества
данных через DataPump
Test
Datapump
Export file
Удаление данных
«на месте»
Клонирование
Production
Test
Database size
Subset size
Time*
Data Pump method
200G (20%) 1 hour 8 minutes
Clone and delete
35
1 Terabyte
1 Terabyte
200G (20%) 5 hours 49 minutes
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Insert Information Protection Policy Classification from Slide 8

35. Data Masking Pack
Безопасное развёртывание тестовых БД
Production БД
Тестовая БД
SSN
SALARY
LAST_NAME
SSN
AGUILAR
203-33-3234
40,000
HODGES
111—23-1111
60,000
BENSON
323-22-2943
60,000
JOHNSON
222-34-1345
40,000
LAST_NAME
• Безопасное развёртывание тестовой системы с помощью маскирования
конфиденциальной информации
• Расширяемая библиотека шаблонов маскирования
36
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Insert Information Protection Policy Classification from Slide 8
SALARY

36. Маскирование данных на стороне источника
Максимальное соответствие PCI DSS
Database 12c
Database 11g
Рабочая
Тестовая
Рабочая
Тестовая
Замаскированный
Data Pump файл
0100101100101010010010010010010010010010010010001
0010101001001001001110010010010010010010000100100
1011100100101010010010101010011010100101010010
Клонирование и Маскирование
Рабочие данные копируются на тестовую
систему и затем маскируются.
Конфиденциальные данные уязвимы,
пока не будут не замаскированы.
37
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
010010110010101001001001001001001001001001001000
100101010010010010011100100100100100100100001001
001011100100101010010010101010011010100101010010
Маскирование на стороне источника
Конфиденциальные данные маскируются
на стороне источника прежде, чем они
покинут рабочую базу данных.
Insert Information Protection Policy Classification from Slide 8

37. Платформа Oracle Testing-as-a-Service - NEW
Тестирование, как сервис в облаке
• Scripts
• Environments
Test Library
Test Engineers
http(s)
Test Lab
Provisioning
• Load Test
• Functional Test
• Test Drivers
• Test Assets
• Test Application
Test
Execution
Самообслуживание
Управление ресурсами в облаке
Test Admin, Test
Designer & Managers
38
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Облачная инфраструктура
Monitoring &
Chargeback
•Monitoring
•Resource Metering
•Rule-based
Chargeback

38. Oracle Application Quality Management
Управление качеством приложений
Oracle
Oracle Test
Application Functional
Testing
Manager
Тестирование Приложений
Oracle Load
Testing
Testing Suite
Тестирование Инфраструктуры
SQL Performance
Analyzer
Database Replay
Application
Replay
Управление тестовыми
данными и средами
Data Masking
Data Discovery
and Modeling
Data Sub setting
Облачная платформа для
тестирования
Синтетическая нагрузка
39
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Testing-as-a-Service
Реальная нагрузка
Тестовые данные

39. Полезные ссылки
• http://www.oracle.com/technetwork/oem/app-quality-mgmt/index.html
• http://www.oracle.com/technetwork/oem/app-test/index.html
• http://www.oracle.com/technetwork/oem/pdf/511889.pdf
• http://www.oracle.com/technetwork/oem/pdf/511891.pdf
• http://www.oracle.com/technetwork/oem/pdf/511875.pdf
40
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
40

40. 41
Copyright © 2011, Oracle and/or its affiliates. All rights
reserved.
Insert Information Protection Policy Classification from Slide 8