Vi ebts implantação de fábrica de teste - desafios, resultados e melhores práticas

Implantação de Fábrica de Teste:
desafios, resultados e melhores Práticas

Welington Costa Monteiro – ABR/2012

VI EBTS
Agenda
• Apresentação
• O cenário inicial dos testes
• Desafios
• Implantando a Fábrica de Teste
• Resultados
• Melhores Práticas
• Próximos Passos
• Conclusão
Implantação de Fábrica de Teste: Desafios, Resultados e Melhores Práticas

VI EBTS
Apresentação
O palestrante
 Gerente de Testes de Software da Prodemge
 Consultor de aquisição habilitado pelo MPS.BR
 Especialista em Qualidade de Software com certificações pela
ALATS e ISQTB
 Membro e revisor técnico do TMMi
 16 anos de experiência na área de TI
 Graduado em Ciência da Computação
 Pós-graduação em Gerência de Tecnologia da Informação


VI EBTS
Apresentação
A Prodemge
Companhia de economia mista,
apoia as ações estratégicas da
administração pública mineira na
área de TIC - Tecnologia da
Informação e Comunicação.

1ª maior empresa de TIC de
Minas Gerais em faturamento
(ranking Assespro-MG 2008)


VI EBTS
Apresentação
A Prodemge – Produtos e Serviços
Data Center
Finanças
Sistemas de Informação

Gestão
Armazéns de Informações

Serviços de Infraestrutura Segurança Pública

Serviços de Rede Orçamento e
Planejamento
Gestão de Conteúdo
Gestão de conteúdo
Recursos Humanos
Certificação Digital


VI EBTS
Apresentação
A Prodemge – DDS
Estrutura da Diretoria de Desenvolvimento de Sistemas (Resumida)

Diretoria de Desenvolvimento de Sistemas

SSC SSD SSO SAS SCS

GSC GSH GSS GPS GDI

GSA GSM GSO GPR GCJ

GST GTS


VI EBTS
Apresentação
A Prodemge – A Fábrica de Software

Superintendência de Fábrica de Software

Gerência de
Gerência de Gerência de Testes Núcleo de
Construção
Construção Java de Software Subcontratação
Diversos

 A fábrica de software foi criada há 5 anos e tem 115 colaboradores.
 É segmentada em 3 gerências e um núcleo de subcontratação (núcleo administrativo)
 Atende as demais gerências da empresa (especificação) na construção e testes
sistemas em plataforma baixa (Java, PHP e dot Net) e também na construção de sítios,
intranets e portais corporativos


VI EBTS
Apresentação
A Prodemge – A Fábrica de Teste

Superintendência de Fábrica de Software

Gerência de
Gerência de Gerência de Testes Núcleo de
Construção
Construção Java de Software Subcontratação
Diversos

 A Fábrica de teste está implantada há quase 2 anos
 Conta atualmente com 30 profissionais, sendo 20% estagiários
Capacidade média mensal de testes funcionais 1000 PF (2012)
 01 CTAL-TM, 08 profissionais certificados CFTL e 02 certificados CBTS
 01 profissional habilitado como consultor de implementação do MPT.BR (OUT/2011)


VI EBTS
Agenda
• Apresentação
• O cenário inicial dos testes
• Desafios
• Implantação da Fábrica de Teste
• Resultados
• Melhores Práticas
• Próximos Passos
• Conclusão

VI EBTS
O cenário inicial dos testes
“Eu já vi este bug antes” – Déjà vu

“A aplicação estava funcionando na versão anterior” – Síndrome do
Casamento

“Eu sempre fiz deste jeito” – Síndrome da Gabriela

“Este bug não é bug! ” – Ser ou não ser ?

“ Não temos tempo para testar tudo mesmo” - Deus Deadline

“ Terei que fazer uma melhoria por causa do teste” - Caso Patológico


VI EBTS

Não existia equipe • Os testes eram baseados apenas nos requisitos funcionais, e
de teste de forma superficial pelo fato de não ter métricas para
planejar os prazos de testes.
independente

• A ausência de uma atividade de teste para avaliar o
Problemas de funcionamento básico da aplicação não era realizado. Desta
manutenção das forma no caso de aplicações compiladas, a posterior
manutenção era comprometida pelas “bibliotecas
aplicações esquecidas”

• Em virtude do desenvolvimento interativo incremental,
Incompatibilidade ocorriam inúmeros falsos defeitos em virtudes das versões
do banco de dados não estarem compatíveis, ou seja, foi
de versões de BD utilizada a versão X para a construção e a X’ para os testes.

VI EBTS

Inexistência da •Os casos de testes eram elaborados de forma exploratória,
sem utilizar metodologias específicas de testes e isto
Documentação de onerava e muito o prazo do projeto, em virtude da
Teste responsabilidade ser da equipe de especificação.

Falta de
• Dificuldade de entendimento e de reprodução dos erros, o
padronização no que gerava um grande atraso na correção dos defeitos
relato de defeitos

Ineficiência e baixa • Não existia um processo de testes completo, era apenas
uma atividade descrita no processo de desenvolvimento, e
cobertura dos que era executada após o codificação da aplicação.
A execução era somente manual;
testes


VI EBTS
Desafios
A empresa buscava na área de desenvolvimento
 Maior agilidade no processo
 Cumprir 100% dos prazos acordados
 Melhorar a qualidade do software construído
 E o cliente?

SIMPLIFICAR O PROCESSO:

Usuário interage com o sistema
Sistema


VI EBTS
Desafios
Paradoxo: Simplificar os processos existentes e
Implantar um novo processo de qualidade ?

Qual seria a melhor alternativa?

Os testes
deveriam ser
automáticos


VI EBTS
Desafios
Cinco principais ações:

1. Buscar um patrocinador para o projeto de Fábrica de
Teste na empresa, com teria por objetivo atender as
demandas de projetos de plataforma baixa da
Prodemge;

2. Interiorizar a importância dos testes em todo o
processo de desenvolvimento e não apenas como uma
parte do ciclo do mesmo;


VI EBTS
Desafios
Cinco principais ações:

3. Implantar um processo de testes compatível com o
processo de desenvolvimento da empresa;

4. Ter capacidade de atendimento de todas as demandas
de plataforma baixa das áreas;

5. Demonstrar o ROI da implantação da fábrica de teste;


VI EBTS
Implantação da Fábrica de Teste
Doze passos para a implantação:

1. Definição de terminologias

2. Identificação dos serviços a serem prestados

3. Definição de métricas dos serviços prestados para
planejamento e acompanhamento de produtividade

4. Especialização dos papéis da equipe

5. Elaboração do processo completo e detalhado


VI EBTS

8. Elaboração de Guias para a execução dos procedimentos para
execução das atividades

9. Definição de um ambientes de testes compatível com o
ambiente de homologação

10.Avaliação de ferramentas disponíveis no mercado

VI EBTS

11. Elaboração de documentos administrativos para controle
(solicitação, parecer, etc)

12. Definição de indicadores para busca contínua da melhoria do
processo


VI EBTS
Definição de Terminologias

GLOSSÁRIO PADRÃO DE TERMOS UTILIZADOS
EM TESTE DE SOFTWARE
(55 páginas)

Versão 1.3br (01 de Julho de 2007)
Produzido pelo “Glossary Working Party”
International Software Testing Qualification Board

Editor Erik van Veenendaal (Holanda)
Notificação do Detentor dos Direitos Autorais

Este documento poderá ser copiado na íntegra ou em
parte desde de que haja menção à sua fonte.


VI EBTS
Identificação dos serviços a serem prestados

Fábrica de Teste Teste Área de Teste de
Unitário Integrado Segurança Segurança
Software

Checklist de Elaboração
Fábrica de Checklist de Área de Teste de
Casos de de Casos de
Teste ERSw Produção Desempenho
Testes Testes

Inspeção de Smoke Teste Automação Teste de Teste de
Código Fonte Test Funcional de Teste Stress Carga

VI EBTS
Definição de métricas dos serviços prestados para
planejamento e acompanhamento de produtividade

Métrica de Produtividade: PF
Taxa de entrega: 90%

Exemplo de cálculo:
Elaboração de casos de testes

Fonte: UNILASALLE - TCC 2009 – Tatiana Brezezinski


VI EBTS
Especialização dos papéis da equipe

Gerente de
Testes

Coordenador de
Testes

Teste Líder

Analistas de Arquiteto de Testadores Automatizadores
Testes Testes


VI EBTS
Elaboração do processo detalhado


VI EBTS
Elaboração de guias de procedimentos para a
execução das atividades

- Guia para Elaboração de Casos de Testes
- Guia de Configuração de Ambiente
- Guia para Inspeção de Código Fonte
- Guia do Smoke Test
- Guia dos Testes Funcionais
(Padronização de relato de defeito / Testes exploratórios)

- Guia para Automação de Testes


VI EBTS
Definição de um ambiente de testes compatível com
o ambiente de homologação


VI EBTS
Avaliação das ferramentas disponíveis no mercado


VI EBTS
Elaboração de documentos administrativos para
controle

- Solicitação de Testes
- Parecer Smoke Test
- Parecer Teste Funcional
- Check-list ERSw
- Check-list Casos de Testes


VI EBTS
Definição de indicadores para busca contínua da
melhoria do processo
INDICADOR IMPACTO DA FÁBRICA DE TESTE
Qualidade Maior volume de casos de testes

Prazo Menor tempo de execução dos testes

Custo Menor custo de execução dos testes

Eficácia Maior precisão na detecção de defeitos

Confiabilidade Menor volume de defeitos “não-procedentes”

Produtividade Maior volume de testes gerenciados pelos Analistas

Restrição Menor ciclo de estabilização dos sistemas de negócio

Maturidade Evolução e amadurecimento da cultura de testes


VI EBTS
Resultados
Na prática
• Aplicações mais estáveis (melhora da qualidade do
produto)

• Diminuição significativa dos defeitos no ambiente de
produção (redução de custos)

• Melhora significativa dos artefatos entregues para o
desenvolvimento dentro dos padrões estabelecidos pelo
processo (Ponto de controle de qualidade)


VI EBTS
Resultados
Na prática
• Redução das dúvidas dos desenvolvedores em virtude
dos relatos dos incidentes (tempo de correção dos defeitos)

• Geração de script de testes funcionais para testes de
desempenho (Integração e otimização do processo entre
áreas)

• Automação de aplicações críticas (redução drástica de
retrabalho)


VI EBTS
Resultados
Exemplo de projeto
Projeto em plataforma baixa : 400 PF aproximadamente

Percentual de incidentes encontrados por área

9%
Área de Testes
28%
Área de Especificação
63% (Negócio)
Cliente


VI EBTS
Resultados
O grande resultado

A Fábrica de Teste tornou-se
fundamental na proposta de
melhoria contínua de qualidade de
software da PRODEMGE.


VI EBTS
Melhores práticas
1. Não testarás sem documentação

2. Honrarás os casos de testes

3. Validarás o banco de dados

4. Realizarás a inspeção de código

5. Controlarás o ambiente de testes

6. Registrarás todos os incidentes

7. Não marretarás os dados dos testes

8. Evitarás reteste manual

9. Nem tudo automatizarás

10.O processo sempre seguirás


VI EBTS
Próximos passos
- Avaliação do MPT.BR (melhoria de processo)

- Adoção da métrica de Ponto de Teste (esforço e cobertura)

- Aquisição de um suíte de teste (integração)

- Execução de teste automatizado programado (sistemas críticos)

- Edital de contratação de fábrica de testes (sazonalidade)

- Teste de Baseado em Risco (estratégia de teste)

- Análise Preditiva de Testes(precisão no prazo do ciclo de teste)

- Teste de Acessibilidade (ampliar atuação)


VI EBTS
Conclusão

“Não se pode enxertar qualidade em um
produto de software mal construído
apenas com teste, mas também não é
possível construir um produto com
qualidade sem teste e análise”

Mauro Pezzè e Michal Young


VI EBTS
Conclusão

OBRIGADO !
Welington Costa Monteiro
wmonteiro@prodemge.gov.br
(31) 3915-4467

welingtonmonteiro
twitter/fabricadeteste
pages/fabricadetestes


Vi ebts implantação de fábrica de teste - desafios, resultados e melhores práticas

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Destacado

Destacado (9)

Similar a Vi ebts implantação de fábrica de teste - desafios, resultados e melhores práticas

Similar a Vi ebts implantação de fábrica de teste - desafios, resultados e melhores práticas (20)

Vi ebts implantação de fábrica de teste - desafios, resultados e melhores práticas