Можете ли вы завтра утром в 8:05 положить на стол руководства детальный отчет по прогрессу разрабатываемой системы, количестве ошибок в разрезе подсистем и требований, качестве юнит-тестов, скорости внесения изменений в код и возникновения ошибок? Можете ли вы с помощью средств аналитики оценить узкие места проекта, например, ответив на вопрос «какая подсистема имеет самое большое количество вновь возникающих ошибок»? Если вы хотите узнать, как это сделать то приходите на доклад о возможностях подсистем отчетности Visual Studio Team System 2010. В докладе будут рассмотрены подходы по созданию формальной системы метрик, индикаторов, отчетов для оценки прогресса и состояния проекта по разработке программного обеспечения.

1. КАК ОЦЕНИВАТЬ СОСТОЯНИЕ
ПРОЕКТА ПО РАЗРАБОТКЕ С
ПОМОЩЬЮ ФОРМАЛЬНЫХ
МЕТРИК И ОТЧЕТОВ.
Дмитрий Андреев
dmitryan@microsoft.com
Twitter: @dmandreev

2. • Какое количество рисков связано
с вашим текущим проектом?
• Насколько хорошо вы понимаете
«что вы сейчас делаете»?
• Все ли идет так как
запланировано по проекту?

3. Предвидение – это искусство видеть
то что не видно другим.
Джонатан Свифт.

4. Работайте с
проектами
прозрачно

5. Отслеживание задач
• Рабочие элементы
интегрированы в
весь процесс
• Статусы
обновляются с
каждым действием
• Это исходные
данные для отчетов

6. Всё взаимосвязано
• Взаимосвязи
обеспечивают
сквозное
отслеживание
• Взаимосвязи
позволяют
формировать
ранние индикаторы
проблем

8. Как идут дела?
• Вы считаете что:
– Создание отчетов
сложно и требует
много времени
– Данные трудно собрать
и еще труднее понять
– Вам нужен аналитик
чтобы создавать
отчетность по
прогрессу

9. Архитектура
АдаптерыАдаптеры Реляционное
хранилище КубыКубыОбработкаОбработка

10. Таблицы фактов
Build Changeset Contains one row for each changeset included in this build but not included in a previous build of the same type. This
enables build information to be correlated with check-ins, and also with the work items that are associated with the
check-ins.
Build Coverage Contains one row for each time code when metrics were gathered for a build.
Build Details Contains one row for each time a build is performed.
Build Project Contains one row for each time a project within a build is built.
Code Churn Contains one new row for each revision of any file.
Current Work Item Contains one row for each work item currently in the system.
Load Test Counter Summary information for each performance counter value read for each load test executed. Contains the counter ID,
value, and the computer from which it came.
Load Test Details Contains one row for each time a load test is executed.
Load Test Page Summary Contains one row for each URL visited during each load test. Summarizes information for each top-level page, but does
not include detailed information for dependent requests; for instance, images.
Load Test Summary Contains one row for each test run as part of a load test. Contains the number of times the test ran, how many times it
failed, how long it took to run on average, and so forth.
Load Test Transaction Contains the average time for each transaction. For example, if unit tests are run under load, timers in the tests are
reported here as the average time taken for each transaction.
Run Coverage Contains one row for each time a test run is executed that collects code coverage metrics.
Test Result Contains one row for each execution of each test. Contains the outcome of the test, start and end times, and metadata
about the test (category, CSS nodes, and so forth.)
Work Item Changeset Contains one row for each relationship between a work item revision and a changeset.
Work Item History Versioned file of work items using transition count and record count to aggregate information at a point in time.

11. Измерения
• Длинный список  их более 60
– Даты/время
– Области
– Итерации
– Модули
– Персоны
– Категории тестов
– Проекты
– …

12. Правильные средства
• Отчеты из коробки
– SQL Server Reporting
Services
• Excel Reports
– Быстрые и гибкие
• Информационные
панели Sharepoint
– Публикация и
автоматическое
обновление

13. SQL Server Reporting Services
Другие отчетыДругие отчеты
Текущий прогресс по сценариям
и ошибкам
Текущий прогресс по сценариям
и ошибкам
О чем этот отчет?О чем этот отчет?

14. Статусы ошибок

15. Тренды

16. Реактивация

17. Индикаторы качества

18. Успешные сборки

19. Суммарный отчет по
сборкам

20. Burndown

21. Предстоящая работа

22. Статусы по итерациям

23. Прогресс по требованиям

24. Незапланированные работы

25. Прогресс по тестированию

27. Отчеты Microsoft Excel
• Гибкие, быстрые,
качественные.
• Никаких затрат на
создание
• Знакомый
инструмент
• Швейцарский нож

29. Информационные панели
• Выбирайте –
Sharepoint Foundation
или Portal
• Готовые панели
общего характера
• Изменяйте и
создавайте свои

30. Информационные панели

32. Технологии
• Вы можете создавать свои собственные
измерения и фактические значения
• На работающем проекте или шаблоне
• Требуется модификация Work Item
Definition
– Всего лишь объявите поле «Reportable»

34. Коварство метрик
Отметим
высокий
уровень
прохождения
тестов и
низкий
уровень
ошибок
Отметим
высокий
уровень
прохождения
тестов и
низкий
уровень
ошибок

35. Коварство метрик
Отметим
низкий
уровень
покрытия
кода тестами
и высокий
уровень
модификации
кода (code
churn)
Отметим
низкий
уровень
покрытия
кода тестами
и высокий
уровень
модификации
кода (code
churn)

36. Заключение
• VSTS обладает мощным набором средств
создания отчетов
• Получение актуальной информации – два,
три клика
• Используйте множество измерений
• Метрики – это только аппроксимация
целей бизнеса

37. Ссылки
• Работа с отчетами и метриками Team System
http://msdn.microsoft.com/en-
us/library/ms181634(v=VS.80).aspx
• Sunder Ramans’ blog
http://blogs.msdn.com/sunder/
• Описания отчетов
– Agile http://msdn.microsoft.com/en-
us/library/dd380702(v=VS.100).aspx
– CMMI http://msdn.microsoft.com/en-
us/library/ee461536(v=VS.100).aspx