Este documento apresenta o framework EARLY-FIX para predição de manutenção corretiva de software utilizando métricas de produto. O framework inclui modelos conceituais para indicadores de volume e predição de volume, métodos para medição de produto, histórico de manutenção e calibração de modelos preditivos, e técnicas para detecção de módulos propensos a defeitos. O framework foi implementado e testado em dois projetos da indústria para validar sua aplicabilidade.

1. EARLY-FIX
Um Framework para Predição de Manutenção Corretiva
de Software utilizando Métricas de Produto
Gabriel de Souza Pereira Moreira
(mestrando)
Prof. Dr. Adilson Marques da Cunha
(orientador)
Instituto Tecnológico de Aeronáutica
Pós-Graduação em Engenharia Eletrônica e Computação
Área de Informática
14 de Dezembro de 2011

2. Agenda
1. Introdução
2. Qualidade, Manutenção e Medição de Software
3. Predição de Manutenção Corretiva
4. EARLY-FIX
5. Prova de Conceito
6. Conclusão
2

3. 1.1 Contextualização e Motivação
Manutenção de Software
>50% do esforço
(Kemerer et. Al, 1999)
3

4. 1.1 Contextualização e Motivação
Manutenção de Software
>50% dos profissionais
(Jones, 2007)
4

5. 1.1 Contextualização e Motivação
Manutenção de Software
entre 40 e 90%
dos custos
(Bennet, 2002)
5

6. 1.1 Contextualização e Motivação
Aumento do ciclo de vida do software
(Ware, 2007)
Menor foco em práticas e técnicas para
atividades de manutenção (Blanc, 2009)
6

7. 1.1 Contextualização e Motivação
Desafios para academia e
indústria de software
(Boehm, 2010)
7

8. 1.1 Contextualização e Motivação
Tipos de Manutenção
21%
Adaptativa Corretiva
Preventiva de Melhoria
(ISO 14764, 2006)
(Singh, 2007)
8

9. 1.1 Contextualização e Motivação
Características de
Esforço e Assertividade da
Qualidade do Produto de
Manutenção
Software
(Ware 2007), (Ahn 2003), (ISO 25000)
9

10. 1.2 Objetivo
Investigação, concepção, implementação e
verificação de um arcabouço (framework)
para a Predição de Manutenção Corretiva
baseada em Métricas de Produto de
Software, envolvendo modelos, métodos,
técnicas e ferramentas, a fim de fornecer
informações que possam embasar decisões
técnicas e gerenciais durante um projeto para a
redução de esforços, custos e riscos em
futuras manutenções corretivas.
10

11. 1.3 Requisitos da pesquisa
• Um levantamento bibliográfico
• Uma investigação sobre trabalhos relacionados
• A concepção e a elaboração de um framework
para predição de manutenção corretiva
• A implementação e verificação do framework
em dois projetos da indústria
• A comparação dos modelos preditivos obtidos
• Uma análise e discussão dos principais
resultados.
11

12. 2.1 Processos Tradicionais de Desenvolvimento
(Royce, 1970)
12

13. 2.2 Processos Iterativos de Desenvolvimento
RUP FDD
Scrum
Open UP XP 13

14. 2.3 Qualidade de Produto de Software
ISO/IEC 25000:2005 - Software Quality Requirements and Evaluation (SQuaRE)
Focos desta pesquisa
Modelo de Qualidade no Ciclo de Vida (ISO 25000, 2005)
14

15. 2.4 Métricas de Qualidade Interna de Software
Métricas de Produto OO
Tamanho Complexidade Acoplamento Coesão Herança
• LOC •CC - Complexidade • AC – Aferent • LCOM – Lack of • NOC - Number
Ciclomática
• N. Métodos Coupling Cohesion of Children
•Métricas de Methods
• N. Atributos Halstead • EC – Eferent • DIT - Depth of
•MCD - Max
Coupling • LCOM-HS - Lack Inheritance Tree
Conditional Depth • ABC – of Cohesion Of
•MLD - Max Loop Association Methods
Depth Between Classes Henderson-
•DD - Decision Sellers
Density
Principais métricas utilizadas nesta pesquisa 15

16. 2.4 Técnicas de Garantia de Qualidade
Inspeções
Testes
16

17. 2.5 Custos de Correção de Defeitos após Implantação
10x maiores do
que na fase de
construção
(McConnell, 2004)
10
maiores do
que na fase
0x
de análise e
design
(Boehm, 2001)
17

18. 3.1 Predição de Manutenção Corretiva
Benefícios
• Suporte ao planejamento e execução das
atividades de testes (Denaro, 2006)
• Priorização de módulos mais propensos a defeitos
para realização de inspeções e refatorações
(Ware, 2007)
• Identificação de fatores que influenciam na
ocorrência de defeitos (Boehm, 2010)
• Suporte aos modelos de estimativa de custos e
riscos de manutenção corretiva (Yu, 2006).
18

19. 3.1 Predição de Manutenção Corretiva
Trabalhos relacionados
Focos desta pesquisa
Defeitos
Volume de
Modificações Métricas de Produto
(código-fonte)
Defeitos
Propensão a Tendência de Histórico
de Defeitos
Modificações
Utilizando como Tendência de Histórico
Predição de Esforços preditores de Modificações
Manutenção em Custos Tamanho Funcional
(e.g. Pontos de Função)
Riscos
Fatores coletados em
Característica de questionários
Qualidade
Manutenibilidade
como
Esforço de
Modificações
19

20. 3.2 Predição de Defeitos
Algumas empresas que utilizam
(Nagappan, 2005)
20

21. 3.2 Predição de Defeitos
Técnicas de Predição de Defeitos mais utilizadas em
artigos entre 2005 e 2008 *
9
8
7
6
5
4
3
2
1
0
* Segundo revisão sistemática conduzida em (Pontes, 2009)
21

22. 4.1 EARLY-FIX
Framework para
Predição de
Manutenção Corretiva
22

23. 4.2 Modelo Conceitual de Indicadores de Volume (MC-IV)
Baseado no paradigma Goal-Question-Indicator-Measure (GQIM) 23

24. 4.3 Modelo de Indicadores de Predição de Volume (MI-PV)
24

25. 4.4 Desafios de Predição em Projetos Iterativos
25

26. 4.4 Modelo de Rastreabilidade
26

27. 4.4 Método de Rastreabilidade entre Produto de Software
. e Histórico de Manutenções (MR-PHM)
27

28. 4.6 Método de Medição de Produto de Software (MM-PS)
1 - Copiar localmente a última revisão do código-fonte do sistema, a
partir do repositório do SCV
2 - Realizar a compilação do código-fonte e gerar os respectivos
arquivos binários
3 - Utilizar técnicas de análise estática para extração de medidas de
módulos de software
4 - Armazenar as medidas dos módulos em um repositório de
dados, associadas à data da revisão.
28

29. 4.7 Método de Medição de Histórico de Manutenções
Corretivas (MM-HMC)
Para cada arquivo de código-fonte (módulo de software) do sistema
Para cada revisão (do SCV) onde o arquivo foi modificado
Se a revisão estiver associada a correção de um defeito registrado no sistema
Issue Tracker
1 - Incrementar e armazenar a medida Quantidade de Defeitos
encontrados no módulo de software, associada à data da detecção
2 - Calcular a quantidade de linhas inseridas, alteradas e removidas
em relação à revisão anterior do arquivo
3 - Armazenar a medida Quantidade de Modificações
Corretivas, associada à data da correção
29

30. 4.8 Método de Medições Consolidadas (MM-C)
Para cada arquivo de código-fonte (módulo de software) do sistema
1 - Identificar a data em que o módulo de software foi implantado no ambiente do
usuário
2 - Obter as medidas do módulo de software na última revisão antes de sua implantação
3 - Acumular a quantidade de defeitos detectados após a implantação do
módulo, agrupada por período de tempo
4 - Acumular a quantidade de modificações corretivas realizadas após a implantação do
módulo, agrupada por período de tempo
5 - Inserir na tabela consolidada um registro com as medidas do módulo de software
obtidas, a quantidade de defeitos e de modificações corretivas por período.
30

31. 4.9 Método de Calibração de Predição de Volume (MC-PV)
1 - Utilizar como variáveis independentes as medidas do módulo de software em sua revisão de entrega
2 - Definir a variável dependente para construção do modelo (Quantidade de Defeitos ou de
Modificações Corretivas) para um determinado período (3, 6 ou 12 meses)
3 - Definir uma técnica de regressão para gerar modelos preditivos das variáveis dependentes
4 - Definir o método de seleção de variáveis
5 - Calibrar modelos de predição utilizando a técnica de regressão e o método de seleção de variáveis
selecionado
6 - Selecionar o modelo cujas predições melhor se aproximem dos valores observados na variável
dependente, utilizando uma medida estatística
7 - Armazenar os coeficientes do modelo preditivo selecionado e associar ao indicador correspondente
8 - Aplicar a função do modelo preditivo selecionado para calcular o valor dos indicadores de volume de
manutenção corretiva
31

32. 4.10 Método de Detecção de Módulos Propensos à
manutenção corretiva (MD-MP)
1 - Definir o indicador de manutenção corretiva que será utilizado na Análise de
Pareto (Quantidade de Defeitos ou de Modificações Corretivas de um período)
2 - Ordenar, em ordem decrescente, os módulos pelos valores estimados para o
indicador de manutenção corretiva selecionado
3 - Definir o percentual do critério de corte da Análise de Pareto
4 - Selecionar os módulos com maiores valores, até que seja atingido o percentual
de módulos definido no critério de corte
5 - Priorizar os módulos selecionados para realização de atividades relacionadas à
qualidade
32

33. 5.1 Projetos participantes no survey
33

34. 5.2 Métricas Utilizadas
Métricas de Produto *
• Tamanho
• Complexidade
• Acoplamento
Variáveis
• Coesão Independentes
• Herança
Predição
* na revisão de entrega da classe
Métricas de Volume de Manutenção Corretiva **
• Quantidade de Defeitos Variáveis
• Quantidade de Modificações Corretivas Dependentes
** para os primeiros 3, 6 e 12 meses pós-implantação
34

35. 5.3 Implementação dos Métodos de Medição
35

36. 5.4 Implementação do Método de Medições Consolidadas (MM-C)
Estrutura da tabela consolidada de medidas
36

37. 5.5 Análise Exploratória das Medidas
Histograma das variáveis dependentes
37

38. 5.6 MC-PV - Técnicas de Regressão implementadas
1 Regressão Linear Multivariada (MLR)
2 Regressão de Poisson (PR)
3 Regressão de Poisson Inflada de Zeros (ZIP)
4 Regressão Binomial Negativa (NB)
5 Regressão Binomial Negativa Inflada de Zeros (ZINB)
38

39. 5.6 MC-PV - Comparação dos Modelos de Defeitos
Comparação dos coeficientes
R2 de McFadden
Comparação dos
coeficientes R2
39

40. 5.7 MC-PV - Comparação dos Modelos de Modificação Corretiva
Comparação dos coeficientes
R2 de McFadden
Comparação dos
coeficientes R2
40

41. 5.8 Diagramas de Dispersão – Observado x Estimado
41

42. 5.9 MD-MP - Estimativa de Defeitos
42

43. 5.10 MD-MP - Estimativa de Modificações Corretivas
43

44. 5.11 Limitações da Prova de Conceito (1/2)
• Projetos investigados:
– Contexto semelhante
– Defeitos não associados às modificações que os corrigiram.
(Projetos A e B com 67% e 45% dos defeitos associados, respectivamente)
– Diferença entre datas de entrega de iteração e datas de implantação
• Métricas de Produto e de Manutenção Utilizadas:
– Críticas a Complexidade Ciclomática e da suíte de Halstead
– As métricas de produto utilizadas para calibração dos modelos referem-se à revisão
de entrega, não sendo atualizadas após manutenções futuras
44

45. 5.11 Limitações da Prova de Conceito (2/2)
• Análise Estatística:
– Utilização do método de seleção de variáveis Backward Elimination removeu
variáveis de baixa significância, porém reduziu a eficiência de predição
– As variáveis dependentes, especialmente de modificações corretivas, apresentaram
super-dispersão. Mesmo assim, as técnicas de Regressão de Poisson geraram os
modelos com melhor predição de variabilidade e desvio
– Não utilização de técnicas de segmentação de base, calibrando os modelos sobre
toda a base que se deseja prever
45

46. 7. Conclusão
• O framework EARLY-FIX concebido resultou da investigação e da
elaboração de modelos, métodos e técnicas.
• O EARLY-FIX propiciou:
• Coleta de medidas
• Predição de volume de manutenção corretiva
• Detecção de módulos propensos a defeitos
• Endereçamento de projetos iterativos de software
46

47. 7.1 Conclusões Específicas (1/5)
O framework EARLY-FIX foi implementado:
• Em 2 projetos iterativos, em fase de manutenção, da
indústria de software
• Utilizando uma integração entre os sistemas de issue tracker
Mantis e de controle de versão SVN
• A partir de duas ferramentas e scripts desenvolvidos para
automatização da implementação dos métodos de medição
47

48. 7.1 Conclusões Específicas (2/5)
A partir de uma análise estatística exploratória verificou-se:
• A correteza das medidas obtidas de produto
• Outliers nas medidas de volume de manutenção
• Semelhanças entre distribuições das variáveis dependentes e
de Poisson
48

49. 7.1 Conclusões Específicas (3/5)
O Método de Calibração de Predição de Volume (MC-PV) foi
implementado com 5 técnicas de regressão:
• Linear Multivariada (MLR)
• Poisson (PR)
• Poisson Inflada de Zeros (ZIP)
• Binominal Negativa (NB)
• Binomial Negativa Inflada de Zeros (ZINB)
49

50. 7.1 Conclusões Específicas (4/5)
Na verificação do MC-PV:
• Comparou-se os modelos preditivos obtidos com os coeficientes
R2 e R2 de McFadden
• Observou-se que as técnicas de PR e ZIP geraram os modelos
com maior predição da variabilidade (R2) e do desvio (R2 de
McFadden) das variáveis dependentes
• Verificou-se distribuições segundo a Lei de Pareto (80-20) nas
variáveis dependentes
50

51. 7.1 Conclusões Específicas (5/5)
Na implementação do Método de Detecção de Módulos Propensos
à manutenção corretiva (MD-MP):
• Utilizou-se a técnica de Análise de Pareto sobre os valores
estimados pelos modelos
• Com 5% (14 das 274 classes) como critério de corte, selecionou-
se as que representaram:
• 51% das modificações corretivas
• 57% das mais defeituosas dos projetos.
51

52. 7.2 Considerações Gerais
• Relacionamentos entre métricas de produto de software
(especialmente de tamanho, complexidade e
acoplamento), e de volume de manutenções corretivas
normalmente ocorrem (Riaz, 2009)
• Defeitos apresentam, em geral, uma distribuição segundo a
Lei de Pareto (Endres, 2010)
• Métricas de produto de software:
• Buscam mensurar características de código-fonte e de
design (ISO 25000, 2005)
• Apresentam potencial para predição de volume de
manutenção corretiva (Nair, 2010)
52

53. 7.3 Principais Contribuições
EARLY-FIX
53

54. 7.3 Contribuições Adicionais
1. Implementação e verificação do EARLY-FIX em uma prova de
conceito em 2 projetos de software para a indústria
2. Comparação entre os modelos gerados pelas 5 técnicas de
regressão, utilizando os 2 coeficientes de performance:
• R2
• R2 de McFadden
54

55. 7. 4 Recomendações
• Implementação do EARLY-FIX em outros contextos
• Extensão do framework EARLY-FIX com novos Métodos de
Calibração e Modelos de Indicadores
• Criação de modelos de apoio a tomada de decisão, visando
reduzir o volume de manutenções corretivas futuras
• Criação de mecanismos que evitem commits de correções
não associados a defeitos, visando reduzir desvios nos
modelos preditivos
55

56. 7.5 Sugestões de Trabalhos Futuros
• Construção de modelos baseados em métricas de produto, para
estimativa de esforços, custos e riscos de manutenção corretiva
• Implementação do EARLY-FIX em projetos em execução e
análise dos benefícios obtidos com ações direcionadas a partir
das informações obtidas com o framework
• Extensão do EARLY-FIX, utilizando modelos de análise
temporal, para avaliar tendências a defeitos, em futuras
iterações
56

57. 7.6 Artigos publicados relacionados com esta pesquisa
1. CARVALHO, H. P. B. ; BATTAGLIA, Danilo ; MONTINI, Denis Ávila ; MOREIRA, Gabriel de Souza
Pereira ; DIAS, Luiz Alberto Vieira; TASINAFFO, P. M. . ETL Integration of Software Model for
Production Line Manufacture Cells MIS. In: ITNG '10. Seventh International Conference on
Information Technology: New Generations, 2010, 2010, Las Vegas, NE, USA. ITNG 2010
Proceedings, 2010
2. MOREIRA, Gabriel de Souza Pereira ; MELLADO, Roberto Pepato ; MONTINI, Denis Ávila ;
DIAS, Luiz Alberto Vieira; CUNHA, Adilson Marques da . Software Product Measurement and
Analysis in a Continuous Integration Environment. In: ITNG '10. Seventh International
Conference on Information Technology: New Generations, 2010, 2010, Las Vegas, NE, USA. ITNG
2010 Proceedings, 2010
3. MOREIRA, Gabriel de Souza Pereira ; MELLADO, Roberto Pepato ; CUNHA, Adilson Marques da ;
DIAS, Luiz Alberto Vieira. METACOM: Um Método para Análise de Correlação entre Métricas de
Produto de Software e Propensão a Manutenção. In: Simpósio Brasileiro de Qualidade de
Software - SBQS, 2011, Curitiba-PR. Proceedings of Simpósio Brasileiro de Qualidade de
Software 2011, 2011
4. MELLADO, R. P. ; MOREIRA, Gabriel de Souza Pereira ; Junior, R. L. M. ; CUNHA, Adilson Marques
da ; DIAS, Luiz Alberto Vieira. An Empirical Analysis of eXtreme Programming Practices and its
Impact on Software Quality Metrics. In: Workshop Brasileiro de Métodos Ágeis -
WBMA, 2011, Fortaleza - CE. Proceedings of Workshop Brasileiro de Métodos Ágeis 2011, 2011
57