SlideShare a Scribd company logo
1 of 38
Download to read offline
Как задавать требования
к качеству ПО в цифрах?
Денис Бесков
Школа системного анализа
Вопросы:
1. Что такое качество?
2.Как его задать?
3. Как выбрать конкретные
значения?
2
Обзор
1. Качество как явление
2. Модель качества
3. Атрибуты и показатели
качества продукта
4. Атрибуты и показатели
качества в
использовании
5. Классы систем
6. Профили качества
7. Влияние стадии
зрелости
8. «Инструкция» по
применению
3
КАЧЕСТВО КАК ЯВЛЕНИЕ
4
Качество как явление
Качество X — это соответствие
(свойств) X ожиданиям ключевых
заинтересованных лиц
5
Нормальное ВысокоеНизкое
МОДЕЛЬ КАЧЕСТВА ПО
6
Модель качества ПО
7
ПО
Пользователь Разработчик
Другое ПО
1.
Внешнее
качество
продукта
2.
Внутреннее
качество
продукта
3. Качество в использовании
АТРИБУТЫ КАЧЕСТВА
8
Рассматриваемые атрибуты
Атрибуты качества
продукта
(product quality
attributes)
1. Производительность
2. Эффективность
3. Надёжность
4. Доступность
5. Безопасность
6. Масштабируемость
Атрибуты качества
использования
(quality in use)
1. Скорость работы
2. Результативность
3. Точность
4. Скорость обучения
5. Удовлетворённость
6. Утомляемость
9
УРОВНИ КАЧЕСТВА
10
Уровни качества
0 — Низкий
1 — Средний
2 — Высокий
3 — Исключительный
11
АТРИБУТЫ И ПОКАЗАТЕЛИ
КАЧЕСТВА ПРОДУКТА
12
Атрибуты качества продукта
13
1.Производительность
2.Эффективность
3.Надёжность
4.Доступность
5.Безопасность
6.Масштабируемость
Производительность (П)
Показатель / Уровень 0 1 2 3
П1.1. Количество одновременно
работающих пользователей
1+ 10+ 100+ 1 K+
П1.2. Частота запросов
от пользователя в минуту
- <= 4 <= 10 <=100
П1.3. Количество исполняемых
транзакций в секунду
- 3+ 50+ 1500+
П2.1. Длительность
типовых
операций/транзакций,
для % случаев
80% -
<=
5 сек
<=
3 сек
<=
1 сек
95% -
<=
10 сек
<=
5 сек
<=
3 сек
14
Эффективность (Э)
Показатель / Уровень 0 1 2 3
Э1.
Количество операций /
(секунду * стоимость
оборудования, k$)
- 3 + 5 + 15+
15
Надёжность (Н)
Показатель / Уровень 0 1 2 3
Н1.
Вероятность сбоя
(без ущерба для безопасности)
- 5% 1% 0,1%
Н2.
Время восстановления после сбоя
-
<=
5 мин
<=
30 сек
<=
5 сек
16
Доступность (Д)
Показатель / Уровень 0 1 2 3
Д1.
Коэффициент доступности 50% 96% 99% 99,9%
Д1.1.
Допустимое время
простоя в час, минут
30 мин 3 мин 1 мин 1 сек
Д1.2.
Допустимое время
простоя в день, часов
12 ч 1 ч 15 мин 15 сек
Д1.3.
Допустимое время
простоя в месяц, часов
360 ч 30 ч 7 ч 1 мин
17
Безопасность (Б)
Показатель / Уровень 0 1 2 3
Б1.
Стоимость
НСД/взлома, k$
0 1 + 30 + 1 000 +
Б2.
Вероятность
утечки данных
в результате сбоя
- < 0,1%
<
0,01%
<
0,001%
18
Масштабируемость (М)
Показатель /
Уровень
0 1 2 3
М1.
Характер
зависимости
времени выполнения
транзакций или
стоимости ресурсов
от нагрузки
Степенной,
где
показатель
> 1
Линейный
Степенной,
где
показатель
< 1
Логариф-
мический
M2. Стоимость
десятикратного
увеличения
мощности системы
> 1000% 400-900% < 200% < 100%
19
АТРИБУТЫ КАЧЕСТВА
ИСПОЛЬЗОВАНИЯ (QUALITY IN USE)
20
Атрибуты качества использования
21
1. Скорость работы
2.Результативность
3. Точность
4.Скорость обучения
5. Удовлетворённость
6.Утомляемость
Скорость работы пользователя (СР)
Показатель /
Уровень
0 1 2 3
СР1.1
Среднее время
выполнения учётных*
сценариев, в % случаев
80% - < 5 мин < 3 мин < 1 мин
95% - < 15 мин < 5 мин < 3 мин
СР1.2
Среднее время
выполнения сложных**
сценариев, в % случаев
80% - < 15 мин < 10 мин < 5 мин
95% - < 30 мин < 15 мин < 10 мин
СР1.2
Среднее время
выполнения поисковых
сценариев, в % случаев
80% - < 3 мин < 1 мин < 20 cек
95% - < 10 мин < 3 мин < 1 мин
22
* — учётные сценарии — не больше 2 экранов и 20 полей
** — сложные сценарии — не больше 7 экранов и 100 полей
Результативность (Р)
Показатель /
Уровень
0 1 2 3
Р1.
Процент
успешного
завершения
сценариев
необученным
пользователем
- > 66% > 80% > 95%
23
Точность (Т)
Показатель /
Уровень
0 1 2 3
Т1.
Процент
совершённых
ошибок
> 10% < 10% < 5% < 2%
24
Скорость обучения (СО)
Показатель /
Уровень
0 1 2 3
СО1.
Длительность
обучения,
необходимая для
доведения
результативности
до 95%
> 4 часов
< 4
часов
< 10
минут
0 мин
25
Удовлетворённость (УД)
Показатель /
Уровень
0 1 2 3
УД1.
Средняя оценка
пользователями
Ниже
ожиданий
На уровне
ожиданий
Выше
ожиданий
Один из лучших
продуктов из
испробованных
26
Утомляемость (УТ)
Показатель / Уровень 0 1 2 3
УТ1.
Время непрерывной
работы, после
которой число
ошибок вырастает
больше, чем на 20%
> 1
мин
> 5
мин
> 20
мин
> 45
мин
27
КЛАССЫ ПО И СИСТЕМ
28
Классы по ГОСТ 28195-89
5012 - программные средства управления базами данных;
5013 - инструментально-технологические средства
программирования;
5014 - ПС интерфейса и управления коммуникациями;
5015 - ПС организации вычислительного процесса (планирования,
контроля);
5016 - сервисные программы;
5017 - ПС обслуживания вычислительной техники;
503 - прикладные программы для научных исследований;
504 - прикладные программы для проектирования;
505 - прикладные программы для управления техническими
устройствами и технологическими процессами;
506 - прикладные программы для решения экономических задач;
509 - прочие ПС.
29
Полезные сейчас классы
1. Обычные сайты:
1.1. Home Site
1.2. Business Site
2. Мобильные приложения:
2.1. Consumer Mobile App
2.2. Enterprise Mobile App
3. Интернет-магазины и
настольные приложения:
3.1. Consumer WebShop
3.2. Consumer Desktop App
4. Компоненты:
4.1. Заказной компонент
4.2. Тиражируемый компонент
5. Заказное ПО:
5.1. Custom Enterprise Desktop App
5.2. Custom Enterprise Service
6. ПО для компаний:
6.1. Enterprise Desktop App
6.2. Enterprise Server App
7. Интернет-сервисы:
7.1. B2C SaaS
7.2. B2B SaaS
30
ПРОФИЛИ КАЧЕСТВА
31
Профили качества
Класс системы
П Э Н Д Б М СР Р Т
С
О
У
Д
УТ
Home Site 0 1 1 0 0 0 0 0 0 2 - -
Business Site 1 1 1 1 1 1 1 2 1 3 1 2
Consumer Mobile App
1 1 1 1 1 1
2-
3
2 2 3
2-
3
2
Enterprise Mobile App 1 1 2 1 2 1 1 1 1 2 - 2
Consumer Web Shop 2 2 2 1 2 2 3 3 3 3 2 2
Consumer Desktop App
2 1 2 2 2 1 2 2
2-
3
2
2-
3
3
Заказной компонент 2 2 3 3 3 2 - - - - - -
Тиражируемый компонент 3 3 3 3 3 3 - - - - - -
Custom Enterprise Desktop App
2 2 2 1 2 1 2 1
2-
3
1-2 1 3
Custom Enterprise Service 2 1 3 2 3 2 - - - - - -
Enterprise Desktop App 2 2 2 2 3 2 2 2 3 1-2 1 3
Enterprise Server App 3 3 3 3 3 2 - - - - - - 32
Стадии зрелости ПО и коэффициенты
-3 Прототип
-2 Ранняя бета
-1 Демо-версия
0 Промышленная версия
33
ИНСТРУКЦИЯ ПО ПРИМЕНЕНИЮ
34
Инструкция по применению
1. Определите класс системы
2. Определите уровень
зрелости
3. Выберите нужный профиль
качества по классу системы
4. Учтите уровень зрелости
35
СТАНДАРТЫ
36
Стандарты по качеству ПО
• ГОСТ 28195-89Оценка качества программных средств.
Общие положения
• ГОСТ 28806-90 Качество программных средств.Термины
и определения
• ISO/IEC 25010:2011, Systems and software engineering —
Systems and software Quality Requirements and Evaluation
(SQuaRE) — System and software quality models
• ISO/IEC 25030:2007, Software engineering — Software
product Quality Requirements and Evaluation (SQuaRE) —
Quality requirements
37
СПАСИБО
38

More Related Content

What's hot

Аналитик и Тестировщик в одном лице – путь к качеству (Максим Цепков, SQA Day...
Аналитик и Тестировщик в одном лице – путь к качеству (Максим Цепков, SQA Day...Аналитик и Тестировщик в одном лице – путь к качеству (Максим Цепков, SQA Day...
Аналитик и Тестировщик в одном лице – путь к качеству (Максим Цепков, SQA Day...CUSTIS
 
Управление требованиями VS Разработка требований. Принципы и инструменты
Управление требованиями VS Разработка требований. Принципы и инструментыУправление требованиями VS Разработка требований. Принципы и инструменты
Управление требованиями VS Разработка требований. Принципы и инструментыSQALab
 
Тестирование требований
Тестирование требованийТестирование требований
Тестирование требованийISsoft
 
Шаблоны оформления требований
Шаблоны оформления требованийШаблоны оформления требований
Шаблоны оформления требованийJaneKozmina
 
Нефункциональные требования, Наталья Желнова
Нефункциональные требования, Наталья ЖелноваНефункциональные требования, Наталья Желнова
Нефункциональные требования, Наталья ЖелноваAlexander Baikin
 
DUMP-2013 Управление разработкой - Метрики в проектах по разработке нового пр...
DUMP-2013 Управление разработкой - Метрики в проектах по разработке нового пр...DUMP-2013 Управление разработкой - Метрики в проектах по разработке нового пр...
DUMP-2013 Управление разработкой - Метрики в проектах по разработке нового пр...it-people
 
Мастер Тест План / Тестовая Стратегия: Что это? Зачем? Как его создать?-От А ...
Мастер Тест План / Тестовая Стратегия: Что это? Зачем? Как его создать?-От А ...Мастер Тест План / Тестовая Стратегия: Что это? Зачем? Как его создать?-От А ...
Мастер Тест План / Тестовая Стратегия: Что это? Зачем? Как его создать?-От А ...SQALab
 
Инструменты управления требованиями: затычки, костыли и грабли
Инструменты управления требованиями: затычки, костыли и граблиИнструменты управления требованиями: затычки, костыли и грабли
Инструменты управления требованиями: затычки, костыли и граблиSQALab
 
Использование трассировок на практике
Использование трассировок на практикеИспользование трассировок на практике
Использование трассировок на практикеSQALab
 
Нефункциональные требования
Нефункциональные требованияНефункциональные требования
Нефункциональные требованияNatalia Zhelnova
 
Выстраиваем процесс управления требованиями
Выстраиваем процесс управления требованиямиВыстраиваем процесс управления требованиями
Выстраиваем процесс управления требованиямиSQALab
 
Контрольный список для проверки требований
Контрольный список для проверки требованийКонтрольный список для проверки требований
Контрольный список для проверки требованийIvan Shamaev
 
Варианты использования (use cases) для быстрой оценки проектов
Варианты использования (use cases) для быстрой оценки проектовВарианты использования (use cases) для быстрой оценки проектов
Варианты использования (use cases) для быстрой оценки проектовSQALab
 
Lection 23-24. Use Cases+ User Stories
Lection 23-24. Use Cases+ User StoriesLection 23-24. Use Cases+ User Stories
Lection 23-24. Use Cases+ User StoriesYana Brodetski
 
Usability ppt-last-140313103534-phpapp01
Usability ppt-last-140313103534-phpapp01Usability ppt-last-140313103534-phpapp01
Usability ppt-last-140313103534-phpapp01Nickola14
 
Процесс тестирования в условиях неявных требований
Процесс тестирования в условиях неявных требованийПроцесс тестирования в условиях неявных требований
Процесс тестирования в условиях неявных требованийSQALab
 
тестирование программного обеспечения
тестирование программного обеспечениятестирование программного обеспечения
тестирование программного обеспеченияNatalia Zhelnova
 

What's hot (20)

Аналитик и Тестировщик в одном лице – путь к качеству (Максим Цепков, SQA Day...
Аналитик и Тестировщик в одном лице – путь к качеству (Максим Цепков, SQA Day...Аналитик и Тестировщик в одном лице – путь к качеству (Максим Цепков, SQA Day...
Аналитик и Тестировщик в одном лице – путь к качеству (Максим Цепков, SQA Day...
 
It global meetup_01
It global meetup_01It global meetup_01
It global meetup_01
 
Управление требованиями VS Разработка требований. Принципы и инструменты
Управление требованиями VS Разработка требований. Принципы и инструментыУправление требованиями VS Разработка требований. Принципы и инструменты
Управление требованиями VS Разработка требований. Принципы и инструменты
 
Тестирование требований
Тестирование требованийТестирование требований
Тестирование требований
 
Шаблоны оформления требований
Шаблоны оформления требованийШаблоны оформления требований
Шаблоны оформления требований
 
Нефункциональные требования, Наталья Желнова
Нефункциональные требования, Наталья ЖелноваНефункциональные требования, Наталья Желнова
Нефункциональные требования, Наталья Желнова
 
DUMP-2013 Управление разработкой - Метрики в проектах по разработке нового пр...
DUMP-2013 Управление разработкой - Метрики в проектах по разработке нового пр...DUMP-2013 Управление разработкой - Метрики в проектах по разработке нового пр...
DUMP-2013 Управление разработкой - Метрики в проектах по разработке нового пр...
 
Мастер Тест План / Тестовая Стратегия: Что это? Зачем? Как его создать?-От А ...
Мастер Тест План / Тестовая Стратегия: Что это? Зачем? Как его создать?-От А ...Мастер Тест План / Тестовая Стратегия: Что это? Зачем? Как его создать?-От А ...
Мастер Тест План / Тестовая Стратегия: Что это? Зачем? Как его создать?-От А ...
 
Инструменты управления требованиями: затычки, костыли и грабли
Инструменты управления требованиями: затычки, костыли и граблиИнструменты управления требованиями: затычки, костыли и грабли
Инструменты управления требованиями: затычки, костыли и грабли
 
Использование трассировок на практике
Использование трассировок на практикеИспользование трассировок на практике
Использование трассировок на практике
 
Нефункциональные требования
Нефункциональные требованияНефункциональные требования
Нефункциональные требования
 
It global meetup_02a
It global meetup_02aIt global meetup_02a
It global meetup_02a
 
Выстраиваем процесс управления требованиями
Выстраиваем процесс управления требованиямиВыстраиваем процесс управления требованиями
Выстраиваем процесс управления требованиями
 
Контрольный список для проверки требований
Контрольный список для проверки требованийКонтрольный список для проверки требований
Контрольный список для проверки требований
 
Варианты использования (use cases) для быстрой оценки проектов
Варианты использования (use cases) для быстрой оценки проектовВарианты использования (use cases) для быстрой оценки проектов
Варианты использования (use cases) для быстрой оценки проектов
 
Lection 23-24. Use Cases+ User Stories
Lection 23-24. Use Cases+ User StoriesLection 23-24. Use Cases+ User Stories
Lection 23-24. Use Cases+ User Stories
 
Usability ppt-last-140313103534-phpapp01
Usability ppt-last-140313103534-phpapp01Usability ppt-last-140313103534-phpapp01
Usability ppt-last-140313103534-phpapp01
 
Процесс тестирования в условиях неявных требований
Процесс тестирования в условиях неявных требованийПроцесс тестирования в условиях неявных требований
Процесс тестирования в условиях неявных требований
 
тестирование программного обеспечения
тестирование программного обеспечениятестирование программного обеспечения
тестирование программного обеспечения
 
Swp12 natalia zhelnova
Swp12 natalia zhelnovaSwp12 natalia zhelnova
Swp12 natalia zhelnova
 

Similar to Как задавать требования к качеству ПО в цифрах

Использование метрик в процессе обеспечения качества сложных систем
Использование метрик в процессе обеспечения качества сложных системИспользование метрик в процессе обеспечения качества сложных систем
Использование метрик в процессе обеспечения качества сложных системSQALab
 
Нагрузка и автоматизация в большой организации. Движение к DevOps
Нагрузка и автоматизация в большой организации. Движение к DevOpsНагрузка и автоматизация в большой организации. Движение к DevOps
Нагрузка и автоматизация в большой организации. Движение к DevOpsSQALab
 
Secr2009 Software Inspections In Practice Rus
Secr2009 Software Inspections In Practice RusSecr2009 Software Inspections In Practice Rus
Secr2009 Software Inspections In Practice RusVadim Savkin
 
Lektsia 3
Lektsia 3Lektsia 3
Lektsia 3bomfan
 
Роль тестирования в сертификации ПО систем с высокими требованиями к надежнос...
Роль тестирования в сертификации ПО систем с высокими требованиями к надежнос...Роль тестирования в сертификации ПО систем с высокими требованиями к надежнос...
Роль тестирования в сертификации ПО систем с высокими требованиями к надежнос...SQALab
 
Эффективное объектно-ориентированное проектирование и структурное качество пр...
Эффективное объектно-ориентированное проектирование и структурное качество пр...Эффективное объектно-ориентированное проектирование и структурное качество пр...
Эффективное объектно-ориентированное проектирование и структурное качество пр...LuxoftTraining
 
Security Testing - Polazhenko Sergey
Security Testing - Polazhenko SergeySecurity Testing - Polazhenko Sergey
Security Testing - Polazhenko SergeyQA Club Minsk
 
STRATOPLAN. Efficient Object-Oriented Design and Structured Quality of Softwa...
STRATOPLAN. Efficient Object-Oriented Design and Structured Quality of Softwa...STRATOPLAN. Efficient Object-Oriented Design and Structured Quality of Softwa...
STRATOPLAN. Efficient Object-Oriented Design and Structured Quality of Softwa...Alex V. Petrov
 
Тестирование осень 2013 лекция 1
Тестирование осень 2013 лекция 1Тестирование осень 2013 лекция 1
Тестирование осень 2013 лекция 1Technopark
 
Бизнес и системный анализ весна 2013 лекция 6
Бизнес и системный анализ весна 2013 лекция 6Бизнес и системный анализ весна 2013 лекция 6
Бизнес и системный анализ весна 2013 лекция 6Technopark
 
Система премирования в Альфа-Банке (ИТ)
Система премирования в Альфа-Банке (ИТ)Система премирования в Альфа-Банке (ИТ)
Система премирования в Альфа-Банке (ИТ)Anna Ninikina
 
презентация по дисциплине технология разработки программного обеспечения
презентация по дисциплине технология разработки программного обеспеченияпрезентация по дисциплине технология разработки программного обеспечения
презентация по дисциплине технология разработки программного обеспеченияRauan Ibraikhan
 
Презентация по дисциплине технология разработки программного обеспечения
Презентация по дисциплине технология разработки программного обеспеченияПрезентация по дисциплине технология разработки программного обеспечения
Презентация по дисциплине технология разработки программного обеспеченияRauan Ibraikhan
 
Человеко-дни на тестирование или как не ошибиться с оценкой
Человеко-дни на тестирование или как не ошибиться с оценкойЧеловеко-дни на тестирование или как не ошибиться с оценкой
Человеко-дни на тестирование или как не ошибиться с оценкойSQALab
 
Создание системы оценки эффективности работы сотрудников в целях установлени...
Создание системы оценки эффективности работы сотрудников в целях установлени...Создание системы оценки эффективности работы сотрудников в целях установлени...
Создание системы оценки эффективности работы сотрудников в целях установлени...ECOPSY Consulting
 
Trpo 12 управление качеством
Trpo 12 управление качествомTrpo 12 управление качеством
Trpo 12 управление качествомpogromskaya
 
Внедрение тестирования в Scrum
Внедрение тестирования в ScrumВнедрение тестирования в Scrum
Внедрение тестирования в ScrumDenis Petelin
 

Similar to Как задавать требования к качеству ПО в цифрах (20)

Использование метрик в процессе обеспечения качества сложных систем
Использование метрик в процессе обеспечения качества сложных системИспользование метрик в процессе обеспечения качества сложных систем
Использование метрик в процессе обеспечения качества сложных систем
 
Sep reqm-lec1
Sep reqm-lec1Sep reqm-lec1
Sep reqm-lec1
 
Нагрузка и автоматизация в большой организации. Движение к DevOps
Нагрузка и автоматизация в большой организации. Движение к DevOpsНагрузка и автоматизация в большой организации. Движение к DevOps
Нагрузка и автоматизация в большой организации. Движение к DevOps
 
Secr2009 Software Inspections In Practice Rus
Secr2009 Software Inspections In Practice RusSecr2009 Software Inspections In Practice Rus
Secr2009 Software Inspections In Practice Rus
 
Lektsia 3
Lektsia 3Lektsia 3
Lektsia 3
 
Роль тестирования в сертификации ПО систем с высокими требованиями к надежнос...
Роль тестирования в сертификации ПО систем с высокими требованиями к надежнос...Роль тестирования в сертификации ПО систем с высокими требованиями к надежнос...
Роль тестирования в сертификации ПО систем с высокими требованиями к надежнос...
 
Эффективное объектно-ориентированное проектирование и структурное качество пр...
Эффективное объектно-ориентированное проектирование и структурное качество пр...Эффективное объектно-ориентированное проектирование и структурное качество пр...
Эффективное объектно-ориентированное проектирование и структурное качество пр...
 
План тестирования
План тестированияПлан тестирования
План тестирования
 
Security Testing - Polazhenko Sergey
Security Testing - Polazhenko SergeySecurity Testing - Polazhenko Sergey
Security Testing - Polazhenko Sergey
 
STRATOPLAN. Efficient Object-Oriented Design and Structured Quality of Softwa...
STRATOPLAN. Efficient Object-Oriented Design and Structured Quality of Softwa...STRATOPLAN. Efficient Object-Oriented Design and Structured Quality of Softwa...
STRATOPLAN. Efficient Object-Oriented Design and Structured Quality of Softwa...
 
Test management print
Test management printTest management print
Test management print
 
Тестирование осень 2013 лекция 1
Тестирование осень 2013 лекция 1Тестирование осень 2013 лекция 1
Тестирование осень 2013 лекция 1
 
Бизнес и системный анализ весна 2013 лекция 6
Бизнес и системный анализ весна 2013 лекция 6Бизнес и системный анализ весна 2013 лекция 6
Бизнес и системный анализ весна 2013 лекция 6
 
Система премирования в Альфа-Банке (ИТ)
Система премирования в Альфа-Банке (ИТ)Система премирования в Альфа-Банке (ИТ)
Система премирования в Альфа-Банке (ИТ)
 
презентация по дисциплине технология разработки программного обеспечения
презентация по дисциплине технология разработки программного обеспеченияпрезентация по дисциплине технология разработки программного обеспечения
презентация по дисциплине технология разработки программного обеспечения
 
Презентация по дисциплине технология разработки программного обеспечения
Презентация по дисциплине технология разработки программного обеспеченияПрезентация по дисциплине технология разработки программного обеспечения
Презентация по дисциплине технология разработки программного обеспечения
 
Человеко-дни на тестирование или как не ошибиться с оценкой
Человеко-дни на тестирование или как не ошибиться с оценкойЧеловеко-дни на тестирование или как не ошибиться с оценкой
Человеко-дни на тестирование или как не ошибиться с оценкой
 
Создание системы оценки эффективности работы сотрудников в целях установлени...
Создание системы оценки эффективности работы сотрудников в целях установлени...Создание системы оценки эффективности работы сотрудников в целях установлени...
Создание системы оценки эффективности работы сотрудников в целях установлени...
 
Trpo 12 управление качеством
Trpo 12 управление качествомTrpo 12 управление качеством
Trpo 12 управление качеством
 
Внедрение тестирования в Scrum
Внедрение тестирования в ScrumВнедрение тестирования в Scrum
Внедрение тестирования в Scrum
 

More from SQALab

Готовим стажировку
Готовим стажировкуГотовим стажировку
Готовим стажировкуSQALab
 
Куда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаКуда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаSQALab
 
Оптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиОптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиSQALab
 
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияАвтоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияSQALab
 
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...SQALab
 
Continuous performance testing
Continuous performance testingContinuous performance testing
Continuous performance testingSQALab
 
Конфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженКонфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженSQALab
 
Команда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииКоманда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииSQALab
 
API. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовAPI. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовSQALab
 
Добиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовSQALab
 
Делаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsДелаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsSQALab
 
Вредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеВредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеSQALab
 
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииМощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииSQALab
 
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеSQALab
 
Стили лидерства и тестирование
Стили лидерства и тестированиеСтили лидерства и тестирование
Стили лидерства и тестированиеSQALab
 
"Давайте не будем про качество"
"Давайте не будем про качество""Давайте не будем про качество"
"Давайте не будем про качество"SQALab
 
Apache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовApache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовSQALab
 
Тестирование геолокационных систем
Тестирование геолокационных системТестирование геолокационных систем
Тестирование геолокационных системSQALab
 
Лидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросЛидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросSQALab
 
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...SQALab
 

More from SQALab (20)

Готовим стажировку
Готовим стажировкуГотовим стажировку
Готовим стажировку
 
Куда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаКуда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщика
 
Оптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиОптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержки
 
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияАвтоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
 
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
 
Continuous performance testing
Continuous performance testingContinuous performance testing
Continuous performance testing
 
Конфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженКонфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нужен
 
Команда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииКоманда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихии
 
API. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовAPI. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советов
 
Добиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестов
 
Делаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsДелаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIs
 
Вредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеВредные привычки в тест-менеджменте
Вредные привычки в тест-менеджменте
 
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииМощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
 
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
 
Стили лидерства и тестирование
Стили лидерства и тестированиеСтили лидерства и тестирование
Стили лидерства и тестирование
 
"Давайте не будем про качество"
"Давайте не будем про качество""Давайте не будем про качество"
"Давайте не будем про качество"
 
Apache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовApache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектов
 
Тестирование геолокационных систем
Тестирование геолокационных системТестирование геолокационных систем
Тестирование геолокационных систем
 
Лидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросЛидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопрос
 
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
 

Как задавать требования к качеству ПО в цифрах

  • 1. Как задавать требования к качеству ПО в цифрах? Денис Бесков Школа системного анализа
  • 2. Вопросы: 1. Что такое качество? 2.Как его задать? 3. Как выбрать конкретные значения? 2
  • 3. Обзор 1. Качество как явление 2. Модель качества 3. Атрибуты и показатели качества продукта 4. Атрибуты и показатели качества в использовании 5. Классы систем 6. Профили качества 7. Влияние стадии зрелости 8. «Инструкция» по применению 3
  • 5. Качество как явление Качество X — это соответствие (свойств) X ожиданиям ключевых заинтересованных лиц 5 Нормальное ВысокоеНизкое
  • 7. Модель качества ПО 7 ПО Пользователь Разработчик Другое ПО 1. Внешнее качество продукта 2. Внутреннее качество продукта 3. Качество в использовании
  • 9. Рассматриваемые атрибуты Атрибуты качества продукта (product quality attributes) 1. Производительность 2. Эффективность 3. Надёжность 4. Доступность 5. Безопасность 6. Масштабируемость Атрибуты качества использования (quality in use) 1. Скорость работы 2. Результативность 3. Точность 4. Скорость обучения 5. Удовлетворённость 6. Утомляемость 9
  • 11. Уровни качества 0 — Низкий 1 — Средний 2 — Высокий 3 — Исключительный 11
  • 14. Производительность (П) Показатель / Уровень 0 1 2 3 П1.1. Количество одновременно работающих пользователей 1+ 10+ 100+ 1 K+ П1.2. Частота запросов от пользователя в минуту - <= 4 <= 10 <=100 П1.3. Количество исполняемых транзакций в секунду - 3+ 50+ 1500+ П2.1. Длительность типовых операций/транзакций, для % случаев 80% - <= 5 сек <= 3 сек <= 1 сек 95% - <= 10 сек <= 5 сек <= 3 сек 14
  • 15. Эффективность (Э) Показатель / Уровень 0 1 2 3 Э1. Количество операций / (секунду * стоимость оборудования, k$) - 3 + 5 + 15+ 15
  • 16. Надёжность (Н) Показатель / Уровень 0 1 2 3 Н1. Вероятность сбоя (без ущерба для безопасности) - 5% 1% 0,1% Н2. Время восстановления после сбоя - <= 5 мин <= 30 сек <= 5 сек 16
  • 17. Доступность (Д) Показатель / Уровень 0 1 2 3 Д1. Коэффициент доступности 50% 96% 99% 99,9% Д1.1. Допустимое время простоя в час, минут 30 мин 3 мин 1 мин 1 сек Д1.2. Допустимое время простоя в день, часов 12 ч 1 ч 15 мин 15 сек Д1.3. Допустимое время простоя в месяц, часов 360 ч 30 ч 7 ч 1 мин 17
  • 18. Безопасность (Б) Показатель / Уровень 0 1 2 3 Б1. Стоимость НСД/взлома, k$ 0 1 + 30 + 1 000 + Б2. Вероятность утечки данных в результате сбоя - < 0,1% < 0,01% < 0,001% 18
  • 19. Масштабируемость (М) Показатель / Уровень 0 1 2 3 М1. Характер зависимости времени выполнения транзакций или стоимости ресурсов от нагрузки Степенной, где показатель > 1 Линейный Степенной, где показатель < 1 Логариф- мический M2. Стоимость десятикратного увеличения мощности системы > 1000% 400-900% < 200% < 100% 19
  • 21. Атрибуты качества использования 21 1. Скорость работы 2.Результативность 3. Точность 4.Скорость обучения 5. Удовлетворённость 6.Утомляемость
  • 22. Скорость работы пользователя (СР) Показатель / Уровень 0 1 2 3 СР1.1 Среднее время выполнения учётных* сценариев, в % случаев 80% - < 5 мин < 3 мин < 1 мин 95% - < 15 мин < 5 мин < 3 мин СР1.2 Среднее время выполнения сложных** сценариев, в % случаев 80% - < 15 мин < 10 мин < 5 мин 95% - < 30 мин < 15 мин < 10 мин СР1.2 Среднее время выполнения поисковых сценариев, в % случаев 80% - < 3 мин < 1 мин < 20 cек 95% - < 10 мин < 3 мин < 1 мин 22 * — учётные сценарии — не больше 2 экранов и 20 полей ** — сложные сценарии — не больше 7 экранов и 100 полей
  • 23. Результативность (Р) Показатель / Уровень 0 1 2 3 Р1. Процент успешного завершения сценариев необученным пользователем - > 66% > 80% > 95% 23
  • 24. Точность (Т) Показатель / Уровень 0 1 2 3 Т1. Процент совершённых ошибок > 10% < 10% < 5% < 2% 24
  • 25. Скорость обучения (СО) Показатель / Уровень 0 1 2 3 СО1. Длительность обучения, необходимая для доведения результативности до 95% > 4 часов < 4 часов < 10 минут 0 мин 25
  • 26. Удовлетворённость (УД) Показатель / Уровень 0 1 2 3 УД1. Средняя оценка пользователями Ниже ожиданий На уровне ожиданий Выше ожиданий Один из лучших продуктов из испробованных 26
  • 27. Утомляемость (УТ) Показатель / Уровень 0 1 2 3 УТ1. Время непрерывной работы, после которой число ошибок вырастает больше, чем на 20% > 1 мин > 5 мин > 20 мин > 45 мин 27
  • 28. КЛАССЫ ПО И СИСТЕМ 28
  • 29. Классы по ГОСТ 28195-89 5012 - программные средства управления базами данных; 5013 - инструментально-технологические средства программирования; 5014 - ПС интерфейса и управления коммуникациями; 5015 - ПС организации вычислительного процесса (планирования, контроля); 5016 - сервисные программы; 5017 - ПС обслуживания вычислительной техники; 503 - прикладные программы для научных исследований; 504 - прикладные программы для проектирования; 505 - прикладные программы для управления техническими устройствами и технологическими процессами; 506 - прикладные программы для решения экономических задач; 509 - прочие ПС. 29
  • 30. Полезные сейчас классы 1. Обычные сайты: 1.1. Home Site 1.2. Business Site 2. Мобильные приложения: 2.1. Consumer Mobile App 2.2. Enterprise Mobile App 3. Интернет-магазины и настольные приложения: 3.1. Consumer WebShop 3.2. Consumer Desktop App 4. Компоненты: 4.1. Заказной компонент 4.2. Тиражируемый компонент 5. Заказное ПО: 5.1. Custom Enterprise Desktop App 5.2. Custom Enterprise Service 6. ПО для компаний: 6.1. Enterprise Desktop App 6.2. Enterprise Server App 7. Интернет-сервисы: 7.1. B2C SaaS 7.2. B2B SaaS 30
  • 32. Профили качества Класс системы П Э Н Д Б М СР Р Т С О У Д УТ Home Site 0 1 1 0 0 0 0 0 0 2 - - Business Site 1 1 1 1 1 1 1 2 1 3 1 2 Consumer Mobile App 1 1 1 1 1 1 2- 3 2 2 3 2- 3 2 Enterprise Mobile App 1 1 2 1 2 1 1 1 1 2 - 2 Consumer Web Shop 2 2 2 1 2 2 3 3 3 3 2 2 Consumer Desktop App 2 1 2 2 2 1 2 2 2- 3 2 2- 3 3 Заказной компонент 2 2 3 3 3 2 - - - - - - Тиражируемый компонент 3 3 3 3 3 3 - - - - - - Custom Enterprise Desktop App 2 2 2 1 2 1 2 1 2- 3 1-2 1 3 Custom Enterprise Service 2 1 3 2 3 2 - - - - - - Enterprise Desktop App 2 2 2 2 3 2 2 2 3 1-2 1 3 Enterprise Server App 3 3 3 3 3 2 - - - - - - 32
  • 33. Стадии зрелости ПО и коэффициенты -3 Прототип -2 Ранняя бета -1 Демо-версия 0 Промышленная версия 33
  • 35. Инструкция по применению 1. Определите класс системы 2. Определите уровень зрелости 3. Выберите нужный профиль качества по классу системы 4. Учтите уровень зрелости 35
  • 37. Стандарты по качеству ПО • ГОСТ 28195-89Оценка качества программных средств. Общие положения • ГОСТ 28806-90 Качество программных средств.Термины и определения • ISO/IEC 25010:2011, Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — System and software quality models • ISO/IEC 25030:2007, Software engineering — Software product Quality Requirements and Evaluation (SQuaRE) — Quality requirements 37