Normalmente las normas y estándares parecen alejadas de los productos tan cambiantes que vemos hoy y las asociamos más con sistemas estables y en alguno casos críticos. Es así? Sólo sirve para eso?. Trataremos de mostrar que no. Cuando vemos un producto como una red social, un sitio de comercio electrónico, etc., un juego, nos cuesta asociarlo con un estándar que habitualmente lo tenemos por algo burocrático, rígido, y pesado. Sin embargo antes de descartar estas normas, deberíamos explorar si no contienen guías que nos permiten validar si estamos haciendo lo correcto, si contemplamos todo lo requerido, y fundamentalmente, si podemos hacer algo que luego podamos trasladar a otro producto de sw o familia de productos de sw. De todo esto trata esta presentación. Siguiendo brevemente un ejemplo, veremos como las distintas consideraciones que tuvieron los diseñadores del software tomado como caso de estudio, son contempladas por la norma ISO 25000. Asimismo, veremos las novedades que hay esta importante norma.

1. Modelos de Calidad de
Productos de Software y
Sistemas
El aporte de la familia ISO 25000
para la industria.

2. SQuaRE
Systems and software engineering - Systems and software
Quality Requirements and Evaluation
ISO 25000
- Actualización -
Verónica Marinelli Raúl Martínez
2014 – v 1.0

3. Preguntas
 ¿Por qué un modelo de calidad de producto?
 …….
 ¿Por qué un estándar de calidad de producto?
 …….
 ¿Son aplicables estos estándares a los sistemas
actuales?

4. ¿Adherir a un estándar de calidad de proceso o a un
modelo de mejora conduce a un producto de calidad?
Kitchenham B, Pfleeger SL. “Software Quality: The Elusive Target.”
IEEE Software 1996
 “Hay poca evidencia de que la conformidad con estándares de
proceso garanticen buenos productos. De hecho las críticas a esta
visión sugieren que los estándares de procesos sólo garantizan
uniformidad en las salidas”
Dromey R.G. “Cornering the Chimera.” IEEE Software 1996
 “..esto descansa en la idea ampliamente sostenida de que se necesita
un proceso de calidad para producir un producto de calidad. La falla de
este enfoque es que el énfasis en procesos usualmente viene a
expensas de construir, refinar y utilizar modelos de calidad de
producto adecuados. En su lugar los desarrolladores se apoyan en
modelos internos o estándar de ingeniería de software no siempre
útiles.”

5. Contexto actual

6. Funcionalidad

7. Usuarios = expertos, eligen, migran

8. Oferta =

9. Estética

10. Talle, Color, Género

12. Diferenciación

13. Asume
Benedicto XVI
Asume
Francisco

15. ¿Hay una sola calidad?

16. me sirve
hace todo esto
conforme a
requerimientos
me gusta
¿vale lo que cuesta?
Calidad no es igual para todos
Garvin, D. (1984) What Does “Product Quality” Really Mean?

17. ¿Quiénes somos nosotros? (o cómo nos vemos)
Una
empresa de
producto
Una
empresa de
desarrollo
Un
emprendedor
¿?

18. Los consumidores/usuarios
 Experimentados
 Inundación de estilos
 Boca a boca
 Lanzamientos globales
 Recompensa = interés
inmediato
Expectativas: “lo mejor de lo mejor”, no lo estándar
http://trendwatching.com/trends/expectationeconomy.htm

19. ¿Qué trabajo quiere hacer?
¿Cómo lo haría mejor?
¿Qué le impide hacerlo?
¿Qué le agrega valor?
¿Más es mejor?

20. Funcionalidad
insuficiente
Funcionalidad
suficiente
Sorprende
y deleita
Si más, mejor
Debe estar
Insatisfecho
con el producto
Satisfecho
con el producto
4 x HDMI 2.0
3 x USB
Juegos
Facilidad de uso
Navegador
WI-FI
Comando
por voz
3D
Pantalla
curva
Calidad atractiva - Noriaki Kano 1980
Necesidades y
expectativas

21. Necesidades y expectativas
¿Por qué no lo hace? ¿Qué gana si lo hace?
¿Qué trabajo quiere hacer?
El aspecto social
Complicado
Caro
Tiempo
Imagen
$$$$$$
El aspecto emocional
Mi producto debería
Alejarle temores Permitirle ganar
Empathy Map – Dave Gray
BMG – A. Osterwalder
Sencillo, accesible Tiempo, imagen
Inseguro

22. Organización
Responsabilidad por
el producto / servicio
Tener procesos y
guías
Asegurar la calidad
Original comic by Bonkers World
Saber hacer
Tener con qué
Elegir al socio /
proveedor

23. Ganamos…
Perdurabilidad
Foco
Menor prescindibilidad
Experiencia positiva en el cliente
Motivación
Evitar obsolescencia
Negocios
Mejor comunicación
Mejorar la calidad de vida laboral

24. La Dirección debe
orientar y apoyar
Pero nosotros debemos
salir de la “zona de
confort” técnica y conocer
más el negocio

26. …relevantes para una amplia gama de interesados…(*)
¿Quién es el interesado?
(*)IRAM ISO IEC 25010

27. Necesidades
de los
interesados
Enunciadas,
no enunciadas
y desconocidas
Necesidades
de los
interesados
Identificadas y
recolectadas
Requerimientos
de calidad en
uso enunciados
y
seleccionados
Restricciones
Requerimientos
funcionales
(dependientes
del negocio)
Requerimientos
de calidad
externa
SQuaRE - Relación necesidades / requerimientos
de calidad / requerimientos funcionales
Diseño
funcional
Requerimientos
de calidad
interna
(Adaptado de 2004 – D. Zubrow)
Identificar y
obtener
Seleccionar y
especificar
Influencian
(ISO/IEC 25030)

28. Necesidades / requerimientos de calidad /
requerimientos funcionales
(ISO/IEC 25030)

29. ISO/IEC 25000 – Guide to SQuaRE
Modelos comunes - Estructura del Modelo de calidad
Calidad de producto de SW
Característica 1
Sub-característica 1
Propiedad de
calidad
Característica 2 Característica n
Sub-característica 2 Sub-característica n
Propiedad de
calidad
Propiedad de
calidad
Propiedad de
calidad
…
…
…
Medida de calidad
Medida de calidad
Función de medición y QMEs
Función de medición y QMEs
IRAM ISO/IEC 25010

30. ISO/IEC 25010 – System and software quality model
Adecua-
ción
funcional
Completi-
tud
Correc-
ción
Adecua-
ción
Eficiencia
en perfor-
mance
Respues-
ta
Uso
recursos
Capaci-
dad
Compati-
bilidad
Coexis-
tencia
Interope-
rabilidad
Usabilidad
Recono-
cimiento
Aprendi-
zaje
Operabi-
lidad
Protecc.
errores
Estética
Accesibi-
lidad
Confiabi-
lidad
Madurez
Disponi-
bilidad
Toleran-
cia a
fallas
Recupe-
rabilidad
Seguridad
Confiden-
cialidad
Integridad
No
repudiable
Trazabili-
dad
Autentici-
dad
Mantenibi-
lidad
Modulari-
dad
Reusabili-
dad
Analiza-
bilidad
Modificabi-
lidad
Capacidad
de ser
probado
Portabilidad
Adapta-
bilidad
Instala-
bilidad
Reempla-
zabilidad
Modelo de calidad de producto
IRAM ISO/IEC 25010

31. ISO/IEC 25010 – System and software quality model
Efectividad
Efectividad
Eficiencia
Eficiencia
Satisfacción
Utilidad
Confianza
Placer
Confort
Mitigación de
riesgos
Mitigación
de riesgo
económico
Mitigación de
riesgo para
salud,
inocuidad
Mitigación de
riesgos
ambientales
Cobertura de
contexto
Completitud
en el
contexto
Flexibilidad
Modelo de calidad en uso
IRAM ISO/IEC 25010

32. ISO/IEC 25012 - Modelo de calidad de datos
Característica Inherente Dependiente del sistema
Exactitud (accuracy) X
Completitud X
Consistencia X
Credibilidad X
Actualidad (currentness) X
Accesibilidad X X
Conformidad X X
Confidencialidad X X
Eficiencia X X
Precisión (precision) X X
Trazabilidad X X
Comprensibilidad X X
Disponibilidad X
Portabilidad X
Recuperabilidad X
Propia del dato, su
dominio de
valores,
restricciones y
relaciones
Dependiente del
dominio
tecnológico en que
persiste y se utiliza
el dato
IRAM ISO/IEC 25012

33. Requerimientos
de calidad en
uso
Requerimientos
de calidad
externa
Requerimientos
de calidad
interna
Requerimientos Producto
Necesidades
Validación
Verificación y
Validación
Verificación
Calidad en uso
Calidad externa
Calidad interna
Modelo de
Ciclo de Vida
Ayudan a
definir
Ayudan a
definir
Implementación
Indica
Indica
ISO/IEC 25030

34. Framework ISO 25000
ISO/IEC 2504n:
Quality Evaluation Division
25030-2007: Quality
Requirements (IS)
ISO/IEC 2503n:
Quality Requirement
Division
ISO/IEC 2500n: Quality General Division
ISO/IEC 2501n: Quality Model Division
ISO/IEC 2502n: Quality Measurement Div.
25010-2011: Quality Model
25000-2014: Guide to SQuaRE
25020-2007: Measurement Reference Model (IS)
25021-2012: Quality Measure Elements (IS)
25022: Measurement of Quality in Use
25040-2011: Quality Evaluation
Process (IS)
25041-2012: Evaluation Guide
Developers, Acquirers and
Evaluators (IS)
25001-2014: Planning and Management
25023: Measurement of Sys & SWP Quality
25024: Measurement of Data Quality
25012-2008: Data Quality Model
ISO/IEC 25050 ~ 25099: SQuaRE Extension
Division
25045-2010: Evaluation Module
For Recoverability (IS)
ISO/IEC 25060 ~ 25069: Common Industry Format
for Usability
ISO/IEC 25051: Requirements for Quality
of RUSP (IS)
25011: IT service Quality Model

35. Modelos de calidad y sus objetivos
IRAM ISO/IEC 25010 / ISO/IEC 25030

36. ISO/IEC 2502N/25040 Measurement - Evaluation

37. Evaluación
Operabilidad
Protección ante
errores
Estética
Mitigación de riesgo
económico

38. Características
Ext./ Int.
Funcionalidad Confiabilidad Usabilidad Eficiencia Mantenibilidad Portabilidad
El Modelo ISO 9126
Desafíos para la evaluación
Calidad en
uso
Efectividad Productividad Seguridad Satisfacción
Proceso ISO 14598

39. El Resultado – Entregables exigidos por la Norma

40. 25011: IT Service Quality Model

41. 25011: IT Service Quality Model (Nuevo)
 Modelo de calidad de servicio general aplicable al
diseño, despliegue, implementación y mejora de
servicios que utilizan o soportan TI, proveyendo
guías para utilizar el modelo de la norma ISO/IEC
25010 para describir la calidad en uso del servicio.

42. 25011: IT Service Quality Model
Service Quality in Use
Efficiency Satisfaction
Freedom from
risk
SLA Coverage
Efficiency
Usefulness
Trust
Pleasure
Comfort
Economic /
Health and
safety /
Environmental
SLA
compliance
SLA
achievement
Effectiveness
Effectiveness

43. 25011: IT Service Quality Model

44. Normas de calidad de producto
 ISO: Brevísima historia
 1991 ISO/IEC 9126 Quality Model
 1998 – 2001 ISO/IEC 14598-1 / 6 Product evaluation
 2001 ISO/IEC 9126-1: quality model
 2003 ISO/IEC 9126-2: external measures
 2003 ISO/IEC 9126-3: internal measures
 2004 ISO/IEC 9126-4: quality in use measures
 2005 – 2013 ISO/IEC 25000 System and Software
Engineering – SQuaRE – Software Product Quality
Requirements and Evaluation
 2011 ISO/IEC 25010 System and Software Quality Models
 ……
 ISO 25022 / 25023 / 25024 en desarrollo

45. Relación entre las series 9126 - 14598 y SQuaRE
25000: Guide to SQuaRE (IS)
25001: Planning and management (IS)
25010: System and software quality models (IS)
25012: Data quality model (IS)
25020: Measurement reference model and guide (IS)
25021: Quality measure elements (IS)
25022: Measurement of quality in use
25023: Measurement of system and sw product quality
25024: Measurement of data quality (CD3)
25030: Quality requirements (IS)
25040: Evaluation process (IS)
25045: Evaluation module for recoverability (IS)
25051: Requirements for quality of Ready to Use
Software Product and instructions for testing
9126-1: Quality model
9126-2: External metrics
9126-3: Internal Metrics
9126-4: Quality in use metrics
14598-1: General guide
14598-2: planning and management
14598-3: Developers’ evaluation guide
14598-4: Acquirers’ evaluation guide
14598-5: Evaluators’ guide
14598-6: Documentation of
Evaluation Module
12119: Quality requirements and testing
software package
25021: Quality measure elements (TR)
25041: Evaluation guide for developers,
acquires and evaluators (IS)
25011: IT Service quality model (CD)

46. Normas IRAM
Tecnología de la información. Ingeniería de software y
de sistemas. Requisitos y evaluación de la calidad del
producto de software y de sistemas (SQuaRE).
Número Título Estado
IRAM-ISO/IEC 25000:2014 Guía de SQuaRE. Publicada
IRAM-ISO/IEC 25001 Planificación y gestión. Discusión Pública
IRAM-ISO/IEC 25010
Modelos de calidad de sistemas y de
software.
En estudio
IRAM-ISO/IEC 25012 Modelo de calidad de los datos. En estudio
IRAM-ISO/IEC 25020
Modelo de referencia de medición y
guía.
En estudio
IRAM-ISO/IEC 25030 Requisitos de calidad En estudio
IRAM-ISO/IEC 25021 Elementos de medición de la calidad
Se incorporará el plan de
estudio 2015
IRAM-ISO/IEC 25040 Proceso de evaluación
Se incorporará el plan de
estudio 2015

47. Número Título
ISO/IEC 25000:2014 Guide to SQuaRE (revisión parcial de 9126-1 y 14598-1)
ISO/IEC 25001:2014 Planning and management (revisión de 14598-2)
ISO/IEC 25010:2011
System and software quality models (revisión parcial de
9126-1)
ISO/IEC 25012:2008 Data quality model
ISO/IEC 25020:2007
Measurement reference model and guide (revisión parcial
de 9126-2, 9126-3 y 9126-4)
ISO/IEC 25021:2012 Quality measure elements (antes fue un TR)
ISO/IEC 25030:2007 Quality requirements
ISO/IEC 25040:2011 Evaluation process (revisión parcial de 14598-1)
ISO/IEC 25041:2012
Evaluation guide for developers, acquirers and independent
evaluators (revisión de 14598-3, 14598-4 y 14598-5)
ISO/IEC 25045:2010 Evaluation module for recoverability
ISO/IEC 25051:2014
Requirements for quality of Ready to Use Software Product
(RUSP) and instructions for testing
Normas ISO - Publicadas
Systems and software engineering -- Systems and
software product Quality Requirements and
Evaluation (SQuaRE)

48. Número Título Estado
ISO/IEC CD 25011 IT Service Quality Model CD 2 en votación
ISO/IEC CD 25022
Measurement of quality in use
(Revisión de 9126-4)
CD 4 en votación
ISO/IEC CD 25023
Measurement of system and
software product quality
(Revisión de 9126-2 y -3)
CD 4 en
preparación
ISO/IEC CD 25024 Measurement of data quality
CD 4 en
preparación
Normas ISO – En estudio
Systems and software engineering -- Systems
and software product Quality Requirements
and Evaluation (SQuaRE)

49. Estructura
de estudio
de normas
ISO

50. ISO JTC 1/SC7/WG 6
ISO JTC 1: Information technology
Secretaría: ANSI (USA)
SC 7: Software and systems engineering
Secretaría: SCC (Canadá)
WG 6: Evaluation and
metrics
Convenor: Prof.
AZUMA, Motoei (JISC,
Japan)
Otros WG
Otros SC

51. Subcomité Calidad en tecnología de la
información
Gerencia de Química y otras tecnologías
Comité Tecnología de la información
Presidente: Raúl Martinez
Subcomité Calidad en tecnología de la
información
Secretario: Raúl Martinez
Coordinadora: Verónica Marinelli
Grupo de
traducción
de la serie
25000
Otros
grupos
Otros
subcomité
s
Otros
comités

52. Participación regional
 AMN CSM 27 Comité Sectorial Mercosur de
Calidad de Software
 Secretaría: UNIT – Uruguay
 Normas de la serie SQuaREen estudio:
 PNM ISO/IEC 25010 (sustituye a NM-ISO/IEC 9126-1)
 PNM ISO/IEC 25040 (sustituye a NM-ISO/IEC 14598-1)
 PNM ISO/IEC 25001 (sustituye a NM-ISO/IEC 14598-2)

53. Proceso de
desarrollo y
productos
ISO

54. Etapa Producto
Vía 1
(24 meses)
Vía 2
(36 meses)
Vía 3
(48 meses)
Preliminary
Ítem de trabajo preliminar
(PWI)
Proposal
Nueva propuesta de ítem
de trabajo (NP o NWIP)
0 0 0
Preparatory Borrador de trabajo (WD)
Committee
Primer borrador del comité
(CD)
12 12
Enquiry
Primer borrador de norma
internacional (DIS)
6 18 24
Approval
Primer borrador final de
norma internacional (FDIS)
18 30 43
Publication Norma internacional (IS) 24 36 48
Tiempos de estudio de normas ISO

55. Estudio de
normas
IRAM

56. Bibliografía y referencias
1. Factors in software quality; NTIS, 1977, J. McCall.
2. Software Quality: The elusive target;, I E E E , 1996, B. Kitchenham & S. L. Pfleeger.
3. What does “Product Quality really mean”?; Sloan Management Review, Fall 1984, D. Garvin.
4. A model for software product quality; Australian Sw Quality Research Inst. Oct.1994, G. Dromey.
5. Relating Business Goals to Architecturally Significant Requirements for Software Systems;
CMU/SEI-2010-TN-018, 2010, Bass, Clements.
6. Quality Attribute Workshops (QAWs); Third Edition, CMU/SEI-2003-TR-016, 2003, Barbacci.
7. Software Architecture in Practice; 2nd ed., 2003, Bass, Clements, Kazman.
8. ISO/IEC 25000 Software engineering: Software product Quality Requirements and Evaluation.
9. ISO/IEC 25010 Software engineering: Software product Quality Requirements and Evaluation
10. Cornering the chimera; IEEE SOFTWARE, 1996, G. Dromey.
11. Competing on the Eight Dimensions of Quality; HBR, 1987, D. Garvin.
12. Software Quality Models in Practice; Umfrage-Ergebnisse, 2010, QuaMoCo Group.
13. In Application Projects, 'Success' Needs Many Definitions; 2011, Gartner.
14. Application Quality Assurance for Nonfunctional Requirements; 2011, Gartner.
15. Redefining-software-quality; http://gojko.net, 2012, Gojko Adzic.
16. Norms and Standards in SAP’s Development Process Framework; 2010, SAP.
17. Attractive quality and must-be quality; ASQC, 1996, N. Kano, N. Seraku, F. Takahashi, S. Tsuji.
18. Blog ideas sobre el software http://ideassobresoftware.blogspot.com.ar
19. http://es.slideshare.net/rmartinez582/rmya-seminario-expectativas-de-los-interesados-y-calidad-
del-producto-de-software-v-30-gobierno-de-la-calidad-el-lado-del-producto

58. Gracias
Lic. Raúl Martínez
@RaulMartinez582
rmartinez@rmya.com.ar
Lic. Verónica Marinelli
vmarinelli@iram.org.ar