Presentación realizada en CIBSE 2015 (Lima, Perú) sobre las experiencias en la Industria del software respecto a la Certificación del Producto con ISO/IEC 25000 a partir de las evaluaciones de la calidad del producto realizadas por AQC Lab.

1. www.alarcosqualitycenter.com © 2015
Experiencias en la Industria del Software:
Certificación del Producto con ISO/IEC 25000
Moisés Rodríguez (Alarcos Quality Center)
Mario Piattini (Universidad de Castilla-La Mancha)
23 Abril 2015

2. 2
Presentación
Moisés Rodríguez Monje
 Ingeniero Superior en Informática y Máster en Tecnologías
Informáticas Avanzadas por la UCLM
 Auditor CISA por ISACA
 Auditor Jefe por AENOR (ISO/IEC 15504 - 12207)
 Socio-Director de Alarcos Quality Center, spin-off de la UCLM
 Director de AQC Lab, primer laboratorio acreditado para la
evaluación de la calidad del producto software
 Correo: moises.rodriguez@alarcosqualitycenter.com
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

3. Índice
3
• Situación Actual1
• Elementos Necesarios2
• Ecosistema para Calidad del Producto3
• Proceso de Evaluación y Certificación4
• Conclusiones5
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

4. Índice
4
• Situación Actual1
• Elementos Necesarios2
• Ecosistema para Calidad del Producto3
• Proceso de Evaluación y Certificación4
• Conclusiones5
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

5. Situación Actual
5
Demanda de
desarrollos software
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

6. Situación Actual
6
Demanda de
desarrollos software
Externalización del
desarrollo software
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

7. Situación Actual
7
Demanda de
desarrollos software
Externalización del
desarrollo software
Necesidad de
controlar la calidad
software
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

8. Situación Actual
8CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

9. Situación Actual
9CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

10. Situación Actual
10CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Solo en
España hay
60 empresas
certificadas
en ISO/IEC
15504
Fuente www.iso15504.es

11. Situación Actual
11CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
¿Es suficiente la calidad de
los procesos de desarrollo
para asegurar la calidad
del producto software?

12. Situación Actual
12
Demanda de
desarrollos software
Externalización del
desarrollo software
Necesidad de
controlar la calidad
software
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

13. Situación Actual
13
Demanda de
desarrollos software
Externalización del
desarrollo software
Necesidad de
controlar la calidad
software
Preocupación
centrada en la calidad
del producto
Necesidad de normas
y estándares, que
definan modelos y
procesos para la
evaluación de la
calidad del producto
software
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

14. Situación Actual
14
Demanda de
desarrollos software
Externalización del
desarrollo software
Necesidad de
controlar la calidad
software
Preocupación
centrada en la calidad
del producto
Necesidad de normas
y estándares, que
definan modelos y
procesos para la
evaluación de la
calidad del producto
software
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

15. Situación Actual
15
Familia de normas ISO/IEC 25000
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

16. Índice
16
• Situación Actual1
• Elementos Necesarios2
• Ecosistema para Calidad del Producto3
• Proceso de Evaluación y Certificación4
• Conclusiones5
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

17. Elementos Necesarios para la Evaluación del Producto
17
Resultados Revisión Sistemática





CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
FUENTE: Rodríguez, M. and M. Piattini, Systematic review of software product certification, in CISTI
2012: 7th Iberian Conference on Information Systems and Technologies. 2012: Madrid. p. 631-636.

18. Elementos Necesarios para la Evaluación del Producto
18CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Proceso de
Evaluación
Herramientas de
Soporte
Modelo de
Calidad

19. Elementos Necesarios para la Evaluación del Producto
19CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Modelo de Calidad
Modelo
de
Calidad
OBJETIVO: Determinar las características del producto
software que se pueden evaluar
 Funcionalidad, Usabilidad, Seguridad, Mantenibilidad…
 Concretar las subcaracterísticas y las métricas de calidad
 Identificar las relaciones entre características y subcaracterísticas
 Concretar qué partes del producto software son objeto de la
medición y evaluación
 Dificultad: definir los umbrales que determinan el nivel de calidad del
producto software

20. Elementos Necesarios para la Evaluación del Producto
20CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Modelo de Calidad ISO/IEC 25010

21. Elementos Necesarios para la Evaluación del Producto
21CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Proceso de Evaluación
OBJETIVO: Determinar las actividades a realizar para
evaluar la calidad del producto softwareProceso de
Evaluación
 Seleccionar qué partes del producto software se evalúan
 Identificar las características del modelo que se quieren evaluar
 Describir los pasos a realizar para medir el producto software
 Concretar las herramientas y configuración necesarias para realizar
la medición
 Identificar las personas que participan en el proceso
 Generar un informe de evaluación completo y entendible para el
público objetivo

22. Elementos Necesarios para la Evaluación del Producto
22CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Proceso de Evaluación ISO/IEC 25040

23. Elementos Necesarios para la Evaluación del Producto
23CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Herramientas de Soporte
OBJETIVO: Dar soporte a la medición y evaluación de
la calidad del producto softwareHerramientas
de Soporte
 Facilitan las actividades adquisición de datos, medición del producto
y presentación de resultados
 Permiten asegurar la repetibilidad de la evaluación
 Reducen los tiempos necesarios para evaluar el producto software
 Análisis estático vs. Análisis dinámico
 Medición vs. Evaluación
 Importancia de la configuración y personalización para la
visualización de resultados

24. Índice
24
• Situación Actual1
• Elementos Necesarios2
• Ecosistema para Calidad del
Producto3
• Proceso de Evaluación y Certificación4
• Conclusiones5
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

25. Ecosistema para la Evaluación y Certificación del Producto
25CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

26. Ecosistema para la Evaluación y Certificación del Producto
26CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

27. Ecosistema para la Evaluación y Certificación del Producto
27CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000FUENTE: Rodríguez, M., Fernández, C.M., Piattini, M., ISO/IEC 25000 Calidad del Producto Software. AENOR.
Revista de la Normalización y la Certificación, 2013(288): p. 30-35.

28. Ecosistema para la Evaluación y Certificación del Producto
28CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
AQC Lab: Laboratorio Acreditado de Evaluación

29. Ecosistema para la Evaluación y Certificación del Producto
29CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
AQC Lab: Laboratorio Acreditado de Evaluación

30. 30CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Ecosistema para la Evaluación y Certificación del Producto
AQC Lab: Laboratorio Acreditado de Evaluación

31. 31
Rango propio de
cada métrica
Rango de calidad de
0 a 100
Rango de calidad de
0 a 100
Niveles 1 a 5 Característica de
Calidad
Subcaracterística
1
Propiedad
1
Métrica 1 Métrica 2
Propiedad
2
Métrica 3
Subcaracterística
N
Propiedad
N
Métrica N
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Ecosistema para la Evaluación y Certificación del Producto
AQC Lab: Laboratorio Acreditado de Evaluación
FUENTE: Rodríguez, M. and Piattini, M. (2014). Entorno para la Evaluación y Certificación de la Calidad del
Producto Software. XIX Jornadas de Ingeniería del Software y Bases de Datos JISBD’2014. Cadiz: 163-176.

32. 32CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Ecosistema para la Evaluación y Certificación del Producto
AQC Lab: Laboratorio Acreditado de Evaluación

33. 33CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con
ISO/IEC 25000
Ecosistema para la Evaluación y Certificación del Producto
AQC Lab: Laboratorio Acreditado de Evaluación

34. 34
1er Laboratorio de Ensayo Acreditado por ENAC para Evaluación de la
Calidad del Producto Software
 Disponer del personal cualificado y con experiencia.
 Contar con el equipamiento y de las infraestructuras necesarias.
 Aplicar métodos y procedimientos de trabajo validados y apropiados.
 Emplear técnicas de evaluación de la calidad de los resultados.
 Emitir informes de evaluación claros y precisos.
 Poseer un sistema de aseguramiento de la calidad
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Ecosistema para la Evaluación y Certificación del Producto
AQC Lab: Laboratorio Acreditado de Evaluación

35. Ecosistema para la Evaluación y Certificación del Producto
35CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
AQC Lab: Laboratorio Acreditado de Evaluación

36. Índice
36
• Situación Actual1
• Elementos Necesarios2
• Ecosistema para Calidad del Producto3
• Proceso de Evaluación y
Certificación4
• Conclusiones5
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

37. Proceso de Evaluación y Certificación
37
Ciclo Completo de Certificación
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

38. CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Certificación del Producto Software
Productos Certificados

39. Proceso de Evaluación y Certificación
39
Resultados de los Primeros Productos Certificados
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
P1V1 P1V2 P2V1 P2V2 P3V1 P3V2 P4V1 P4V2
Mantenibilidad 2 5 2 4 2 4 2 3
Analizabilidad 41.67 98.44 18.75 80.36 37.5 85.71 41.67 68.75
Modularidad 43.75 100.0 37.5 81.25 43.75 85.42 68.75 68.75
Capacidad de Ser
Modificado
43.75 100.0 37.5 92.5 37.5 100.0 43.75 97.5
Capacidad de Ser
Reutilizado
46.88 100.0 37.5 82.5 16.67 97.5 46.88 62.5
Capacidad de Ser
Probado
43.75 100.0 20.0 82.14 37.5 85.71 43.75 68.75

40. Proceso de Evaluación y Certificación
40
Primeros Testimonios





CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

41. Índice
41
• Situación Actual1
• Elementos Necesarios2
• Ecosistema para Calidad del Producto3
• Proceso de Evaluación y Certificación4
• Conclusiones5
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

42. Conclusiones
42




CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

43. Conclusiones
43




CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

44. Conclusiones
44




CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

45. Conclusiones
45




CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

46. Conclusiones
46CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

47. Conclusiones
47CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000

48. www.alarcosqualitycenter.com © 2015
Gracias por su atención!
Moisés Rodríguez
moises.rodriguez@alarcosqualitycenter.com