O documento descreve os principais aspectos de uma revisão sistemática da literatura, comparando-a com uma revisão narrativa. Ele explica o que é uma revisão sistemática, suas características e o método proposto por Rother, E.T., incluindo a formulação da pergunta de pesquisa, a busca de estudos, a avaliação crítica, a extração e síntese dos dados. O documento também apresenta um exemplo de revisão sistemática publicada em uma conferência.
Slides Lição 4, CPAD, Como se Conduzir na Caminhada, 2Tr24.pptx
Revisão sistemática
1. Seminários SecondLab – Métodos de Pesquisa
Revisão Sistemática da Literatura
Wallace Ugulino
Seminários SecondLab – Método de Pesquisa
2012.1
2. O que é revisão sistemática?
“É uma revisão planejada para responder uma pergunta
específica e que utiliza métodos explícitos e sistemáticos
para identificar, selecionar e avaliar criticamente os
estudos, e para coletar e analisar os dados destes estudos
incluídos na revisão”
ROTHER, Edna Terezinha. Revisão sistemática X revisão narrativa. Acta paul. enferm.
[online]. 2007, vol.20, n.2, pp. v-vi. ISSN 0103-2100. http://dx.doi.org/10.1590/S0103-
21002007000200001 Versão pt-BR
ROTHER, Edna Terezinha. Systematic literature review X narrative review. Acta paul.
enferm. [online]. 2007, vol.20, n.2, pp. v-vi. ISSN 0103-2100. Versão en-US
Seminários SecondLab
2 / 20 2012.1
3. O que NÃO é revisão sistemática?
“Análise da literatura publicada em livros, artigos de revista
impressas e/ou eletrônicas na interpretação e análise
crítica pessoal do autor.” (Rother, E.T.)
Chamado de “revisão narrativa da literatura”
Seminários SecondLab
3 / 20 2012.1
4. Revisão Narrativa serve para...
Antes de atirar uma pedra, saiba que R.N. serve para...
“(...) descrever ou discutir o desenvolvimento ou o
"estado da arte" de um determinado assunto, sob
ponto de vista teórico ou conceitual (...) (Rother, E.T.)
Seminários SecondLab
4 / 20 2012.1
5. Características de Revisão Narrativa
Não informa as fontes de informações usadas
Não informa o método usado para busca de referências
(string de busca)
Não informa critérios de seleção (inclusão / exclusão)
Não informa critérios na avaliação dos trabalhos
São fruto análise crítica pessoal do autor sobre um
conjunto de buscas de trabalhos feito de forma não
sistemática
Seminários SecondLab
5 / 20 2012.1
6. Características de Revisão Sistemática
Informam-se as fontes de informações usadas
Informa-se o método usado para busca de referências
(string de busca)
Informam-se os critérios de seleção
Informam-se os critérios usados na avaliação dos
trabalhos
Planejada para responder uma pergunta
específica
Seminários SecondLab
6 / 20 2012.1
7. Revisão Sistemática vs Narrativa
• Revisão Narrativa: o que os revisores questionam?
• Revisão Sistemática: o que os revisores questionam?
Parece difícil de fazer em Computaçao...
Seminários SecondLab
7 / 20 2012.1
8. Base apenas o sublinhado!
Ler
Cochrane
Mas a página é boa para sabermos que existem grupos dedicados a
manter uma base de dados de Revisões Sistemáticas (na medicina)
Seminários SecondLab
8 / 20 2012.1
9. Método Descrito por Rother, E.T.
• 1-) Formulação da pergunta
• 2-) Localização dos estudos
obrigatório incluir principais bases eletrônicas de Ciência da Computação
Incluir artigos de conferência, revistas não disponíveis nas bases de dados, etc. (opc)
• 3-) Avaliação crítica dos estudos
Aplicar critérios para determinar a validade dos estudos selecionados. Os estudos
que não preencherem os critérios devem ser citados e o motivo da exclusão
explicado
• 4-) Coleta de dados
As variáveis estudadas devem ser observadas nos estudos e resumidas em um
formulário próprio do pesquisador. Objetivo: comparar os estudos (nem sempre é
possível)
• 5-) Análise e apresentação dos dados
Agrupar os estudos baseados na semelhança (ou criar um critério de agrupamento,
que deve ser explicitado na hora de relatar os resultados)
Usar estatística descritiva
Seminários SecondLab
9 / 20 2012.1
10. Exemplo: artigo CRIWG 2011
• Context-Awareness on Software Artifacts in Distributed
Software Development: A Systematic Review
• Método usado por esse autor:
1 – Research questions
2 – Search strategy
3 – Criteria and selection procedures
4 – Quality Assessment
http://goo.gl/dP6tJ
5 – Data extraction and synthesis link do autor para apresentação
feita no CRIWG’11
• RQ2: What types of software artifacts are addressed by research
concerning context-awareness?
Vivian, R.L.; Huzita, M.H.E.; Leal, G.C.L.; Steinmacher, A.P.C. Context-Awarenes on Software Artifacts in Distributed Software
Development: A Systematic Review. In: Proceedings of the 17th International Conference on Collaboration and Technology (CRIWG'11).
Editor Vivacqua et al. Springer-Verlag, 2011. ISSN 0302-9743. ISBN 978-3-642-23800-0.
Seminários SecondLab
10 / 20 2012.1
11. Exemplo: artigo CRIWG 2011
• Search Strategy:
1-) buscou artigos num conjunto pré-definido por “especialistas”
(orientador?) de journals e conferências.
• O autor lista todas as conferências e journals consultados nessa
primeira fase de busca
2-) Realizou busca eletrônica com uma string pequena (resultado
amplo) nas bases: IEEE, ACM, EI Compendex, ScienceDirect,
Scirus.
• Não há uma justificativa para essa seleção, mas parece que se deu
em função da possibilidade de acesso web e dos mecanismos de
busca
Vivian, et al., 2011 (CRIWG’11)
Seminários SecondLab
11 / 20 2012.1
16. Exemplo: artigo CRIWG 2011
• Criteria and Selection procedures (INCLUSION)
Vivian, R.L.; Huzita, M.H.E.; Leal, G.C.L.; Steinmacher, A.P.C. Context-Awarenes on Software Artifacts in Distributed Software
Development: A Systematic Review. In: Proceedings of the 17th International Conference on Collaboration and Technology (CRIWG'11).
Editor Vivacqua et al. Springer-Verlag, 2011. ISSN 0302-9743. ISBN 978-3-642-23800-0.
Seminários SecondLab
16 / 20 2012.1
17. Exemplo: artigo CRIWG 2011
• 4-) Quality Assessment
Is the article based on research or is it merely a “lessons
learned” report based on expert opinion?
Is there a clear statement of the aims of the research?
Is there an adequate description of the context in which the
research was carried out?
Total de 11 critérios definidos para avaliar a qualidade do artigo. O
julgamento da qualidade foi usado para guiar a interpretação,
análise e síntese dos resultados
Seminários SecondLab
17 / 20 2012.1
18. Exemplo: artigo CRIWG 2011
• Visão geral do processo de seleção
Vivian, et al., 2011 (CRIWG’11)
Seminários SecondLab
18 / 20 2012.1
19. Exemplo: artigo CRIWG 2011
• 5-) Data Extraction and Synthesis
Usou um formulário pré-definido (pelo autor) para extração dos
dados.
• Possibilitou padronização / tabulação dos dados
• Apoiou o processo de síntese.
• Formulário não foi publicado
– Dados: autor, título, origem, ano, volume, páginas, abstract, keywords e
funcionalidades discutidas no paper
Classificou cada paper em 1 de 5 categorias:
• (1) Case Study, (2) Experimento, (3) Revisão da literatura, (4) Lessons
Learned, e (5) Simulação
• A classificação nas categorias acima seguiu a forma descrita em
Zelkowitz e Wallace 1
1 Zelkowitz, M.V.; Wallace, D.R.; Experimental models for validating technology. Computer 31(5), 23-31 (1998)
Seminários SecondLab
19 / 20 2012.1
20. Exemplo: artigo CRIWG 2011
• Como apresentar os resultados:
Frequencia de Publicação Sources of Information (RQ1)
Visual Resources (RQ1) Types os Sw Artifacts (RQ2)
Seminários SecondLab
20 / 20 2012.1