Presentación sobre cómo llevar a cabo estudios de la literatura en Ingeniería del Software, a través de un ejemplo real.

1. Revisiones de la literatura en
Ingeniería del Software:
Un ejemplo práctico.
Iván Ruiz Rube
ivan.ruiz@uca.es
Desarrollo de software orientado a servicios y procesos de aprendizaje
Itinerario de Doctorado en Modelado, Simulación y Pruebas de Procesos y Tratamiento de Señales y Datos

2. Contenidos
•
•
•
•
•
Introducción
Planificación
Ejecución
Difusión
Bibliografía

3. Introducción
• Toda investigación debe comenzar estudiando
el estado del arte de algún tema específico.
• Es algo común tanto para estudiantes predoctorales como para los ya doctores.
• Una revisión de la literatura es un medio para
evaluar e interpretar la investigación
disponible relativa a una determinada área de
interés.

4. Introducción

5. Introducción
• Existen dos formas de estudiar la literatura:
• Poco rigurosa
• “Busca aquí en el Google..”
• “Mírate las actas de este congreso..”
• “Yo se que no se ha hecho nada anteriormente…”
• Formal
• Usando alguna metodología confiable, rigurosa y
extendida en la comunidad investigadora.

6. Introducción
• Barbara Kitchenham propuso un conjunto de
directrices para llevar a cabo estudios de la
literatura en Ingeniería del Software.
• Estas directrices están basadas en otras
metodologías similares en disciplinas como las
ciencias sociales o la medicina.
• Están siendo ampliamente utilizadas por parte
de la comunidad investigadora.

7. Introducción
• Systematic Literature Review (SLR)
Estudio secundario que utiliza una metodología
rigurosa para identificar, analizar e interpretar de
forma no sesgada y repetible, todas las evidencias
relativas a una pregunta de investigación.

8. Introducción
• Systematic Mapping Study (SMS)
Estudio secundario (también utiliza una metodología
rigurosa) que analiza un amplio conjunto de estudios
primarios para identificar qué y cuantas evidencias
hay disponibles sobre un determinado tópico.
También llamado estudio de alcance (scoping study).

9. Introducción
Systematic Literature Review
• El tópico que se quiere
estudiar es reducido
• Estudiar la calidad de las
evidencias
• Requiere un análisis
detallado de los estudios
• Búsqueda en profundidad
• El objetivo es resumir el
estado del arte
Systematic Mapping Study
• El tópico que se quiere
estudiar es muy amplio
• Estudiar la cantidad de
evidencias
• Requiere un análisis
superficial de los estudios
• Búsqueda en anchura
• El objetivo es identificar
clusters de evidencias y
áreas donde fomentar la
investigación

10. Introducción
• Etapas de la SLR/SMS

11. • Etapas de la SLR/SMS

12. Planificación de la Revisión
1. Identificar la necesidad de la revisión
Justificación:
En el año 2002, la OMG propuso un lenguaje para el modelado de procesos
software, en línea con el enfoque de desarrollo MDA. Se trata de SPEM
(Software & Systems Process Engineering Meta-Model).
Este lenguaje dispone de los elementos básicos para la definición de
metodologías y procesos software: roles, actividades, tareas, herramientas,
productos de trabajo, iteraciones, hitos, etc.
La misión del lenguaje fue por un lado, dotar de un mecanismo para la
representación estandarizada de contenidos de métodos en IS y por otro, dar
soporte a la sistematización/ejecución de los procesos de desarrollo software.

13. Planificación de la Revisión
1. Identificar la necesidad de la revisión
Justificación (cont.)

14. Planificación de la Revisión
1. Identificar la necesidad de la revisión
Justificación (cont.)
Sin embargo, parece que SPEM no ha conseguido la popularidad de otros
lenguajes de la OMG, como UML.
Por este motivo, se plantea desarrollar un estudio de alcance (systematic
mapping study) para comprobar el nivel de aceptación del lenguaje SPEM, así
como de los usos y los beneficios reales (en contraposición con los
prometidos) al usar esta notación.
Además, no se han encontrado estudios secundarios relativos a este asunto,
por lo que se justifica el desarrollo de este trabajo. De este modo, se pretende
descubrir debilidades en el lenguaje y las áreas de trabajo donde aplicar
futuros esfuerzos de investigación.

15. Planificación de la Revisión
2. Comisionar una revisión
Comisionar revisión
Consiste en la subcontratación o externalización del desarrollo de una revisión
de la literatura a otra organización diferente de la que la necesita.
Esta actividad no aplica para estudiantes de doctorado o en aquellos casos en
que el grupo de investigación acomete la revisión por necesidades o
inquietudes propias.

16. Planificación de la Revisión
3. Definir las preguntas de investigación
Preguntas de Investigación
A continuación, se describen las preguntas de investigación que dirigirán la
ejecución del estudio.
•Q1: ¿Cuáles son las metodologías y procesos que se han modelado con
SPEM?
•Q2: ¿Qué mecanismos se han desarrollado o utilizado para verificar y validar
modelos SPEM?
•Q3: ¿Qué posibilidades con respecto al despliegue y la ejecución de los
procesos se han obtenido utilizando modelos SPEM?
•Q4: ¿Qué ventajas se obtienen al evaluar y monitorizar procesos SPEM
desplegados en entornos de ejecución adecuados?

17. Planificación de la Revisión
4. Desarrollar el protocolo de revisión
Términos de búsqueda
SPEM y “software process” (para desambiguación).
Los términos de búsqueda deben adaptarse a los requerimientos de los
motores de búsqueda.
Motores de búsqueda seleccionados
Wiley Online Library, World Scientific Net, IEEE Digital Library, Elsevier,
Springer y ACM Digital Library.
Herramientas de soporte a la revisión
Registro de búsquedas, resultados y analíticas: Excel
Sistema de gestión de referencias: Mendeley

18. Planificación de la Revisión
4. Desarrollar el protocolo de revisión
Criterios de inclusión/exclusión
•Fuera de alcance: Trabajos publicados antes de la publicación de la primera
versión formal de la especificación (Noviembre 2002)
•Lenguaje no apropiado: Trabajos publicados en idiomas distintos del inglés
o castellano.
•Fuera de ámbito: En algunas ocasiones se localizan trabajos no
directamente relacionados con nuestros tópicos de interés.
•Duplicado: Trabajos cuya contribución principal está recogida en otros
trabajos ya incluidos.
Procedimiento de selección
El tercer criterio requería distinguir si los trabajos emplean SPEM, como mera
anotación para clarificar la propia investigación o lo citan como trabajo futuro.
Para el cuarto, se revisan las publicaciones encontradas de un mismo autor y
se selecciona una, en base a la relevancia de la publicación y otros factores.

19. Planificación de la Revisión
4. Desarrollar el protocolo de revisión
Procedimiento para la evaluación de la calidad
Esta actividad no aplica en nuestro caso, dado que al realizar un estudio de alcance
no es nuestro objetivo medir la calidad de las contribuciones existentes, sino la
cantidad. Se suele llevar a cabo utilizando una lista de control diseñada a tal efecto.

20. Planificación de la Revisión
4. Desarrollar el protocolo de revisión
Esquema para la extracción de datos
•Metadatos básicos: título, autor y fecha publicación
•Tipo de investigación: opinión, experiencia personal, propuestas de
solución, validación de propuesta y evaluación.
•Tipo de contribución: técnica, transformación, metamodelo, proceso,
herramienta y framework.
•Utilidad
de
la
contribución:
modelado,
verificación/validación, configuración/despliegue y evaluación.
adaptabilidad,
•Versión del lenguaje: SPEM (1.1 o 2.0), extensión al lenguaje (1.1 o 2.0) y
otros lenguajes ideados a partir de SPEM.

21. Planificación de la Revisión
4. Desarrollar el protocolo de revisión
Procedimiento de extracción
Extraer de manera automática los metadatos que acompañan a los trabajos
en formato BIBTEX. Estos metadatos necesitan un proceso posterior de
refinamiento para normalizar nombres de autores, completar campos vacíos
como el publicador o la fecha de publicación, etc.
Revisar (no en profundidad) los trabajos encontrados: titulo, resumen,
palabras clave y en menor medida, las conclusiones u ojeando el texto
completo.
Simultáneamente, se van clasificando los estudios primarios. Hay que tener
en cuenta que el esquema de clasificación no es estático, sino que se va
ampliando y mejorando conforme se van revisando trabajos.

22. Planificación de la Revisión
4. Desarrollar el protocolo de revisión
Procedimiento de análisis y síntesis de los datos
En estudios de alcance, lo habitual es resumir y totalizar el número de
estudios encontrados. En revisiones sistemáticas se suelen emplear técnicas
de análisis estadístico y síntesis narrativa. En ambos casos, se utilizan
representaciones gráficas para una mejor comprensión e interpretación de los
resultados.
En nuestro caso, emplearemos algunas tablas y diagramas (gráficos de
sectores, de líneas y de burbujas) para representar la información más
significativa.

23. Planificación de la Revisión
5. Evaluar el protocolo de revisión
Evaluación del Protocolo
Es importante validar el protocolo por parte de algún experto, de cara a
confirmar que las cadenas de búsqueda, los datos a extraer y los
procedimientos de análisis y síntesis sean los mas apropiadas para intentar
dar respuesta a las preguntas de investigación.
En nuestro caso, el protocolo fue revisado por los Doctores participantes de
esta investigación.

24. • Etapas de la SLR/SMS

25. Ejecución de la Revisión
1. Localizar literatura
ID
SOURCE
SEARCH TERMS
SEARCH SCOPE
1 Wiley Online Library
''software process'' AND spem
All Fields (Including full text)
9 Iván Ruiz-Rube
10/02/2011
2 World Scientific Net
spem
Keywords
2 Iván Ruiz-Rube
10/02/2011
3 IEEE Digital Library (Xplore)
''software process'' AND spem
Full Text and Metadata
109 Iván Ruiz-Rube
10/02/2011
4 Elsevier (ScienceDirect)
''software process'' AND spem
Full Text
34 Iván Ruiz-Rube
10/02/2011
5 Springer
''software process'' AND spem
Full Text
138 Iván Ruiz-Rube
10/02/2011
6 ACM Digital Library
''software process'' AND spem
Full Text, Title, Abstract and Review
[Refine Search excluding results from Springer-Verlang and
IEEE Press and Computer Society]
33 Iván Ruiz-Rube
10/02/2011
7 Wiley Online Library
''software process'' AND spem
All Fields (Including full text)
1 Iván Ruiz-Rube
09/02/2012
8 World Scientific Net
spem
Keywords
0 Iván Ruiz-Rube
09/02/2012
9 IEEE Digital Library (Xplore)
''software process'' AND spem
Full Text and Metadata
23 Iván Ruiz-Rube
09/02/2012
10 Elsevier (ScienceDirect)
''software process'' AND spem
Full Text
5 Iván Ruiz-Rube
09/02/2012
11 Springer
''software process'' AND spem
Full Text
7 Iván Ruiz-Rube
09/02/2012
''software process'' AND spem
Full Text, Title, Abstract and Review
[Refine Search excluding results from Springer-Verlang and
IEEE Press and Computer Society]
12 Iván Ruiz-Rube
09/02/2012
12 ACM Digital Library
TOTAL
RESULTS
CONDUCTED BY
373
DATE

26. Ejecución de la Revisión
1. Localizar literatura

27. Ejecución de la Revisión
2. Selección de estudios primarios

28. Ejecución de la Revisión
3. Evaluación de la calidad de los estudios
primarios

29. Ejecución de la Revisión
4. Extracción de datos
Type
Publisher
Normalised Publication
Citation Key
1
IEEE
Asia-Pacific Software Engineering Conference Wookjin
1
Springer Berlin /
Heidelberg
International Workshop on Software
Engineering for Large-Scale Multi-agent
Systems
1
Cossentino2005
Title
Agile Development of Web Application by Supporting Process Execution and Extended UML
Model
Year
2005
Composition of a New Process to Meet Agile Needs Using Method Engineering
2005
ACM
Research conference of the South African
institute of computer scientists and information
Theunissen2005
technologists on IT research in developing
countries
In search of the sweet spot: agile open collaborative corporate software development
2005
1
Springer Berlin /
Heidelberg
International Conference on Web Engineering Sampaio2004
XWebProcess: Agile Software Development for Web Applications
2004
1
ACM Press
International Workshop on Traceability in
emerging forms of software engineering
Kelleher2005
A reusable traceability framework using patterns
2005
1
Springer Berlin /
Heidelberg
International Conference on Software Reuse
Lopes2006
Odyssey-CCS: A Change Control System Tailored to Software Reuse
2006
1
Springer Berlin /
Heidelberg
International Conference on Product-Focused
Ceron2005
Software Process Improvement
A Meta-model for Requirements Engineering in System Family Context for Software Process
Improvement Using CMMI
2005
1
ACM Press
Brazilian Symposium on Multimedia and the
web
Neto2006
Using a software process for ontology-based context-aware computing
2006
1
IEEE
IEEE International Conference on eTechnology, e-Commerce and e-Service
FalconeSampaio
Business Process Design and Implementation for Customer Segmentation e-Services
2005

30. Ejecución de la Revisión
4. Extracción de datos
Citation Key
Wookjin
Year
2005
Cossentino2005
2005
Theunissen2005
2005
Sampaio2004
Kelleher2005
2004
2005
Research Type
Proposal of solution
Contribution
Type
Framework
Metamodel Type
Description
SPEM 1.1
Agile Web Development Process
Process
V&V
Process
Modeling
ASD
Proposal of solution
Process
SPEM 1.1
Agile PASSI: Agile Agent-Oriented Process
ASD-MAS
Philosophical papers
Proposal of solution
Proposal of solution
Process
Process
Framework
SPEM 1.1
SPEM 1.1
SPEM 1.1
A hybrid process that embodies the best of ASD and
OSSD
XP Process for Web
Software Product Traceability Process
ASD-OSSD
ASD-WEB
CHANGE
CHANGE
Proposal of solution
Tool
SPEM 1.1
Proposal of solution
Framework
SPEM 1.1
Requirements Engineering Process in System Family
Context using CMMI
CMM-SPL
Validation Research
Lopes2006
Modeling Change Control Processes in software reusedriven paradigms. Software to process importation,
assignment of users to roles, assignment of templates to
products, and Notification configuration. Responsible for
selecting the appropriate templates of each finished
process activity, presenting the respective forms to be
filled in by the users, and storing the documents
produced by the forms.
A Prolog-based component able to detect pending
activities and infer the next activities when an activity is
finished
Process
SPEM 1.1
Software process towards supporting the development of
ontology-based context-aware applications
CONTEXT
Proposal of solution
Process
SPEM 1.1
Business Process Design for sourcing CRM services via
ASP
CRM-ASP
2006
Ceron2005
2005
Neto2006
2006
FalconeSampaio
2005

31. Ejecución de la Revisión
5. Análisis y Síntesis de datos

32. Ejecución de la Revisión
5. Análisis y Síntesis de datos

33. Ejecución de la Revisión
5. Análisis y Síntesis de datos

34. Ejecución de la Revisión
5. Análisis y Síntesis de datos
Hallazgos encontrados
•Gran aceptación de SPEM en el diseño de metodologías para sistemas
multiagente o líneas de productos software.
•Flexibilidad de procesos es una labor complicada (variability, tailoring).
•No es interpretado por un software y no tiene un mapeo directo con lenguajes
ejecutables.
•Pocos trabajos relativos a la evaluación sistematizada de procesos software.
•Poco calado en la industria.

35. • Etapas de la SLR/SMS

36. Difusión de los Resultados
1. Definir mecanismos de difusión
Publicación de los resultados
•Proyecto de investigación
•Informe técnico
•Páginas web
•Artículo en Congreso/Revista
•Etc.

37. Difusión de los Resultados
2. Formatear el informe

38. Difusión de los Resultados
3. Evaluar el informe

39. Bibliografía
•
Kitchenham, B., et al. (2007). Guidelines for performing Systematic Literature
Reviews in Software Engineering. EBSE Technical Report EBSE-2007-01.
•
Petersen, K., et al. (2008). Systematic mapping studies in software
engineering. In 12th International Conference on Evaluation and Assessment
in Software Engineering (Vol. 17, p. 1).
•
Wieringa, R., et al. (2006). Requirements engineering paper classification and
evaluation criteria: a proposal and a discussion. Requirements Engineering,
11(1), 102-107.
•
Ruiz‐Rube, I., et al. (2013). Uses and applications of Software & Systems
Process Engineering Meta ‐ Model process models. A systematic mapping
study. Journal of Software: Evolution and Process. Early published online.

40. Iván Ruiz Rube
ivan.ruiz@uca.es
Desarrollo de software orientado a servicios y procesos de aprendizaje
Itinerario de Doctorado en Modelado, Simulación y Pruebas de Procesos y Tratamiento de Señales y Datos