Expositor: Alfonsina Morgavi Duración: 2 horas Resumen: En la actualidad, la industria del software sigue la tendencia general de ser evaluada para comprobar la calidad de sus procesos y productos. El modelo TMMI – Test Maturity Model Integration, proporciona para eso, una guía y marco de referencia para la mejora de procesos de prueba. El mismo, cubre todas las actividades del ciclo de vida de las pruebas, tanto estáticas como dinámicas, relacionadas con la planificación, la preparación y la evaluación de productos de software. El TMMI y las metodologías ágiles pueden coexistir exitosamente y el modelo puede aportar beneficios sustanciales.

1. #testinguy
TALLER
Alfonsina Morgavi
amorgavi@qactions.com
13 y 14 de mayo, 2019
testinguy.org
@testinguy | #testinguy
¿Ágil o tradicional?
TMMI un modelo
todo terreno

2. #testinguy

3. #testinguy
Es una guía y marco de referencia
para la mejora de procesos de
prueba.
Cubre todas las actividades del
ciclo de vida, tanto estáticas como
dinámicas, relacionadas con la
planificación, la preparación y la
evaluación de productos de
software.
Utiliza el concepto de niveles de madurez para la evaluación
y mejora de procesos.
¿Qué es el modelo TMMI?

4. #testinguy
• Proporcionar un modelo de referencia estándar aplicable a todas las
industrias.
• Identificar los puntos fuertes de las pruebas y las mejores prácticas.
• Mejorar la eficacia y eficiencia de las pruebas integradas.
• Identificar los problemas y riesgos en una organización.
• Identificar un programa de mejoras en los procesos de prueba.
¿Cuál fue el objetivo de su desarrollo?

5. #testinguy
(3) Definido
Organización de Pruebas
Programa de Formación de Pruebas
Ciclo de vida de Pruebas e Integración
Pruebas No Funcionales
Revisiones entre Pares
(4) Medido
Mediciones de Pruebas
Evaluación de la Calidad del Producto
Revisiones entre Pares Avanzadas
(5) Optimización
Prevención de Defectos
Control de Calidad
Optimización del Proceso de Pruebas
(2) Gestionado
Política y Estrategia de Pruebas
Planificación de Pruebas
Monitorización y Control de Pruebas
Diseño y Ejecución de Pruebas
Entorno de pruebas
(1) Ini cial (Ah Hoc )
Niveles de madurez y áreas de proceso de TMMI

6. #testinguy
• El test es considerado como parte de la depuración.
• El producto generalmente no satisface sus
necesidades.
• No se dispone de recursos, herramientas y personal
bien entrenado.
• No es posible repetir sus éxitos.
• La tendencia es que:
• Los productos no son lanzados a tiempo.
• Se superan los presupuestos establecidos.
• La calidad entregada, no está de acuerdo con las expectativas.
Nivel 1 Inicial – Ad Hoc:
Características principales

7. #testinguy
Cómo salir del caos y el desorden…
• Definir:
• los objetivos generales y las actividades de las pruebas,
• un conjunto de indicadores claves que muestren el desempeño
de las pruebas,
• una estrategia de pruebas que aborde los riesgos genéricos y un
proceso para mitigarlos,
• los niveles de prueba que se van a realizar por ejemplo:
unitarias, de integración, de sistema y prueba de aceptación,
• el alcance de las pruebas es en base a los riesgos identificados.

8. #testinguy
Cómo salir del caos y el desorden…
• Armar un plan de pruebas que defina qué pruebas se requieren, la
estimación del esfuerzo, cuándo, cómo y quién las realizará.
• Hacer seguimiento y control de las pruebas.
• Diseñar las pruebas utilizando técnicas de diseño.
• Establecer y mantener un ambiente adecuado, incluyendo los datos de
prueba, en el que es posible ejecutar las pruebas de forma manejable y
repetible.

9. #testinguy
Nivel 2 - Gestionado:
Areas de proceso
1. Política de prueba y estrategia de prueba
2. Planificación de pruebas
3. Monitoreo y Control de Pruebas
4. Diseño y ejecución de las pruebas
5. Entorno de prueba

10. #testinguy
• Verificar que el producto satisface los requisitos especificados.
• Separar claramente las pruebas de la depuración.
• Mantener la prácticas existentes durante los momentos de
estrés.
• Establecer una estrategia de pruebas.
• Definir un plan de pruebas basado en la evaluación del riesgo del
producto y cuándo, cómo y quién hará las pruebas.
• Utilizar técnicas para diseñar casos de prueba.
Nivel 2 Gestionado – Principales objetivos

11. #testinguy
PA: Política y estrategia de pruebas
Hay que tener en cuenta que usualmente se requiere la modificación de la política y la estrategia de pruebas
cuando el proceso de pruebas evoluciona y asciende en los niveles de TMMI.
Política de pruebas: (es general)
Aborda las actividades de pruebas tanto para nuevos
proyectos de desarrollo como para mantenimiento.
Establece indicadores y objetivos de mejora del
proceso de pruebas.
Estrategia de pruebas: (es por proyecto)
Aborda los riesgos genéricos de los productos y
presenta un proceso para mitigarlos de acuerdo con
la política de pruebas, analiza los productos que se
están desarrollando para identificar las áreas críticas
típicas para las pruebas.
Corto Plazo –
Quick Wins Largo
Plazo
Mediano
Plazo
Medidas
Extremas
Mantenimiento
Posibles
Alarmas
Baja
Prioridad

12. #testinguy
Lista genérica de riesgos del producto, con una categoría y prioridad asignada a cada riesgo.
Sub-practices
1. Identificar y seleccionar los interesados que contribuyan para la evaluación genérica de riesgos
2. Identificar los riesgos genéricos del producto utilizando los aportes de los interesados.
3. Documentar el proceso y las potenciales consecuencias de los riesgos genéricos del producto.
4. Analizar los riesgos genéricos del producto identificados utilizando parámetros predefinidos.
Ejemplo: probabilidad e impacto.
5. Categorizar y agrupar los riesgos genéricos del producto acorde a las categorías de riesgos
definidas.
6. Priorizar los riesgos genéricos de los productos para mitigarlos
7. Revisar y obtener acuerdos con los interesados sobre la integridad, la categoría y nivel de
prioridad de los riesgos genéricos de los productos.
8. Revisar los riesgos genéricos de los productos, según corresponda.
PA: Estrategia de pruebas

13. #testinguy
• Hay que tener en cuenta que la estrategia de pruebas servirá
como punto de partida para las pruebas a realizar en un proyecto.
• Sin embargo, cada proyecto puede adaptar la estrategia global,
acorde a sus necesidades, en función de la política de adaptación
establecida para el documento.
• Las áreas de incumplimiento deberán estar claramente
documentadas en el plan de pruebas del proyecto.
PA: Estrategia de pruebas

14. #testinguy
Objetivo específico Práctica
específica
Ejemplo de como implementar
SG 1 Realizar el análisis y diseño
de las pruebas utilizando las
técnicas de diseño de pruebas.
SP 1.1 - Identificar y priorizar las
condiciones de prueba.
SP 1.2 - Identificar y priorizar los casos
de prueba.
SP 1.3 - Identificar los datos específicos
necesarios para las pruebas.
SP 1.4 - Mantener trazabilidad
horizontal con los requerimientos.
Disponer de una organización clara
de los casos de prueba dentro de la
herramienta de gestión.
Diseñar y cargar los casos de prueba
según las diferentes técnicas de
diseño e indicar su prioridad.
(Basándose en los riesgos).
Determinar los datos necesarios
para la ejecución de los casos de
prueba.
Mantener la trazabilidad de los
casos de prueba con los
requerimientos, escenarios, etc.
Nivel 2 - PA 2.4 Diseño y ejecución de pruebas
Ejemplo:

15. #testinguy
• Las diferencias más significativas entre los niveles 2 y 3 son:
• el alcance de los estándares,
• la descripción de los procesos y procedimientos.
• Integrar las pruebas en el ciclo de vida del desarrollo.
• Planificar las pruebas en una etapa temprana del proyecto.
• Identificar y organizar un conjunto de personas de alta cualificación que se
responsabilice de las pruebas.
• Definir un programa de entrenamiento específico de pruebas.
Nivel 3 Definido – Principales objetivos

16. #testinguy
• Implementar un programa formal de revisión.
• Participación de los profesionales de las pruebas en las revisiones de las especificaciones de
los requisitos.
• Lograr que las pruebas sean percibidas como una profesión.
Las áreas de proceso en el nivel 3 son:
1. Organización de la prueba
2. Programa de Entrenamiento de Pruebas
3. Ciclo de vida de la prueba e integración
4. Pruebas no funcionales
5. Revisiones por pares
Nivel 3 Definido – Principales objetivos

17. #testinguy
• Realizar las pruebas en todas las etapas del ciclo de vida.
• Acordar criterios de calidad para todos los productos de una organización (interna y
externa).
• Convertir las pruebas en un proceso medido.
• Definir las necesidades, los atributos y las métricas de calidad.
• Evaluar los productos mediante criterios cuantitativos.
• Coordinar las revisiones entre pares en pruebas estáticas y dinámicas y que las mismas
formen parte del plan, la estrategia, y el enfoque de prueba.
Las áreas de proceso en el nivel 4 son:
1. Prueba de medición
2. Evaluación de la calidad del producto
3. Revisiones entre pares avanzada
Nivel 4 Medido – Principales objetivos

18. #testinguy
• Probar y mejorar el proceso de prueba, basándose en datos cuantitativos de procesos
controlados estadísticamente.
• Lograr que una organización sea capaz de mejorar continuamente el rendimiento de sus
procesos. Esto es, a través de procesos incrementales e innovadores y mejoras tecnológicas.
• Identificar y analizar las causas comunes de defectos en el ciclo de vida del desarrollo. Definir
acciones para prevenir: «Prevenir en vez de detectar».
Las áreas de proceso en el nivel 5 son:
1. Prevención de defectos
2. Control de calidad
3. Optimización de procesos de prueba
Nivel 5 Optimizado – Principales objetivos

19. #testinguy
Estructura y componentes del TMMi
Niveles de madurez
Áreas de procesos
Objetivos
genéricos
Objetivos
específicos
Prácticas
genéricas
Prácticas
específicas
Sub -
Prácticas
5
16
32
845
173
50
192
Sub- Prácticas

20. #testinguy
Estructura y componentes del TMMi
Niveles de madurez
Áreas de procesos
Objetivos
genéricos
Objetivos
específicos
Prácticas
genéricas
Prácticas
específicas
Sub-
Prácticas
Componentes
requeridos
Componentes
esperados
Componentes
informativos Sub- Prácticas

21. #testinguy
• El nivel de madurez indica la capacidad o grado de madurez del proceso de pruebas.
• Las áreas de proceso, indican los objetivos a alcanzar. Identifican los aspectos que deben
ser resueltos. Cada área de proceso identifica un grupo de actividades de pruebas
relacionadas.
• Las prácticas describen las actividades que se consideran importantes para alcanzar el
objetivo.
• Las sub-prácticas proporcionan una guía para interpretar e implementar una práctica
específica.
Estructura y componentes TMMi

22. #testinguy
El propósito de la evaluación
⮚ Puede ser :
• como estrategia a largo plazo de
la organización,
• para realizar una mejora interna
del proceso de pruebas,
• para seleccionar proveedores de servicios certificados,
• para establecer el nivel de madurez de la organización.

23. #testinguy
La evaluación
• El TAM (Test Assessment Method) es un método
formal acreditado para realizar evaluaciones de
procesos contra el TMMI.
• Hay dos tipos de evaluaciones: formal e
informal.
• La evaluación formal proporciona un análisis de la diferencia entre lo existente y lo
requerido para alcanzar el nivel deseado de madurez.
En una evaluación formal, se corroboran las fuentes. La rigurosidad nos permite definir el
nivel de madurez de la organización respecto del modelo.
• La evaluación informal proporciona información acerca del estado de los procesos. Sin
embargo, no se corroboran las fuentes y no es posible asignar un nivel de la madurez a la
organización.

24. #testinguy
La evaluación
• La evaluación formal requiere de al menos un team de 2 personas:
• un Asesor Principal acreditado y
• al menos otro Evaluador acreditado.
Se realizan entrevistas donde se recogen evidencias que se califican para informar las
fortalezas y debilidades del proceso de pruebas.
Se presenta un informe detallado de los hallazgos y se determina el nivel de madurez de
la organización.
• La evaluación informal requiere de:
• un Asesor experimentado
Se realizan entrevistas, se recoge al menos un tipo de evidencia que no se corrobora.
Usualmente se utiliza este tipo de evaluaciones para chequeos internos. «Quick Check»

25. #testinguy
TMMI para el mundo ágil

26. #testinguy
TMMI para el mundo ágil
(2)
Gestionado
Política y Estrategia de Pruebas
Planificación de Pruebas
Monitorización y Control de Pruebas
Diseño y Ejecución de Pruebas
Entorno de pruebas
Establecer una Política de Pruebas
Definir los objetivos de las pruebas
Definir la política de pruebas
Distribuir la política de pruebas entre los implicados
Establecer una Estrategia de Pruebas
Realizar una evaluación genérica de los riesgos del producto
Definir una estrategia de pruebas
Distribuir la estrategia de pruebas entre los implicados
Establecer los Indicadores de desempeño de las Pruebas
Definir indicadores de desempeño de las pruebas
Implementar indicadores de desempeño de la pruebas

27. #testinguy
TMMI para el mundo ágil
(2) Gestionado
Política y Estrategia de Pruebas
Planificación de Pruebas
Monitorización y Control de Pruebas
Diseño y Ejecución de Pruebas
Entorno de pruebas
Establecer el alcance de las pruebas
Identificar elementos y características a probar
Definir el alcance de las pruebas
Definir criterios de entrada
Definir criterios de salida
Definir criterios de suspensión y reactivación
Las pruebas son una parte integral
del proceso y una actividad casi
continua, por cuanto no se tratan
como una actividad separada

28. #testinguy
(2)
Gestionado
Política y Estrategia de Pruebas
Planificación de Pruebas
Monitorización y Control de Pruebas
Diseño y Ejecución de Pruebas
Entorno de pruebas
TMMI para el mundo ágil
Establecer la estimación de las pruebas
Definir el ciclo de vida de pruebas

29. #testinguy
TMMI para el mundo ágil – DevOps – Algunos ejemplos
Shorten Lead Time - Acortar tiempos
Solo se prueban las partes de la aplicación que se ven afectadas por el desarrollo en
términos de riesgos.
“Pruebe tan poco como sea necesario pero no menos que eso. Las pruebas
innecesarias, en términos de riesgos, son un desperdicio y alargan el tiempo de
entrega.”
PA 2.2 Planificación de pruebas,
SG 1 Realice la evaluación de riesgos del producto y
SG 2 Establezca un enfoque de prueba para ayudar a la organización a
evitar demasiadas o muy pocas pruebas.

30. #testinguy
TMMI para el mundo ágil – DevOps – Algunos ejemplos
System Thinking - Pensamiento sistémico
Los sistemas deben diseñarse y realizarse de manera que permitan un cambio rápido,
por lo tanto, las pruebas deben poder identificar el riesgo de cambios dentro del
contexto del sistema completo.
PA 2.1 Política y estrategia de prueba
SG 1 Establecer una política de prueba ayuda a las organizaciones a
configurar la política de prueba para que se alinee con los objetivos
comerciales y la necesidad de demostrar algún nivel de pensamiento de
sistemas.

31. #testinguy
Increased Visibility - Mayor visibilidad
• Hacer que el trabajo sea visible se logra mediante el uso de prácticas como tableros de
trabajo visuales (por ejemplo, Kanban) y el mapeo de la cadena de valor, es lo que ayuda
a identificar restricciones y cuellos de botella en el proceso y aumenta el rendimiento.
• A través de la implementación de la guía de adaptación (PA 3.3 Test Lifecycle &
Integration), los equipos Agiles pueden determinar la idoneidad de los elementos de
proceso para los lanzamientos y los Sprints que necesitan entregar.
• Mediante el uso de retrospectivas para optimizar los procesos de prueba como se define
en la Organización de prueba PA 3.1, SG 4 y SG 5, una organización puede centrarse en
eliminar restricciones y cuellos de botella.
TMMI para el mundo ágil – DevOps – Algunos ejemplos

32. #testinguy
Just in Time process - Proceso justo a tiempo
La estrategia de prueba (PA 2.1 Test Policy and Strategy, SG 2) y el enfoque de prueba
correspondiente (PA 2.2 Test Planning, SG 2 Test Approach) en DevOps deben estar en línea
con los principios Just-In-Time.
Para hacer posible el proceso Justo a Tiempo, debe quedar claro cómo se debe realizar el
diseño y la ejecución de la prueba, PA 2.4 Test Design and Execution puede ayudar con esto.
TMMI para el mundo ágil – DevOps – Algunos ejemplos

33. #testinguy
Algunos datos estadísticos

34. #testinguy
Empresas certificadas por nivel
Cantidad de organizaciones formalmente evaluadas y certificadas por
proveedores de servicios acreditados
0
5
10
15
20
25
30
35
Nivel 2
Gestionado
Nivel 3
Definido
Nivel 4
Medido
Nivel 5
Optimizado
4
20
3
11
6
33
6
15
dic-17 abr-19

35. #testinguy
Certificaciones por negocio vertical
Información obtenida del: Estado del informe de pruebas 2017- Experimentus -
resultados anuales de la encuesta tmmi

36. #testinguy
Información obtenida del: Estado del informe de pruebas 2017- Experimentus - resultados anuales de la encuesta tmmi

37. #testinguy
TMMi® Test Maturity Model Integration – is a registered trademark of TMMi Foundation.
TMMI.org. TMMI.org
[DSR] TMMi Data Submission Requirements (2014), TMMi Data Submission Requirements (DSR)
Release 1.0, TMMi Foundation
[ISO 15504] ISO 15504-2 (2003), Software engineering – Process assessment – Part 2: Performing an
assessment, International Organization of Standardization
The State of testing Report 2017 – Experimentus annual tmmi survey results
2018_eBook_TMMi_In_The_Agile_Era. Erik Vaan Veenendhal
How-TMMi-supports-the-Three-Ways-of-DevOPS-1.pdf
TMMi-Newsletter-1st-edition-2019.pdf
TMMi-in-the-Agile-world-V1.2.pdf
Referencias

38. #testinguy
• Somos una empresa innovadora, líder en servicios de Consultoría, Control y Aseguramiento de
Calidad de Software.
• Nuestros conocimientos y experiencia nos permiten brindar servicios flexibles y adaptados a la
cultura y necesidades de cada organización, garantizando la confidencialidad.
• Hemos desarrollado metodologías de trabajo que combinadas con las últimas herramientas de
Testing a nivel internacional, optimizan el resultado de los servicios que brindamos.
• Algunos de nuestros clientes: Telefónica-Movistar, Telecom, Claro, Direct Tv, Atos, Mercado
Libre, Despegar, Santander Río, Banco Patagonia, Banco Hipotecario, Axion Energy, Banco
Supervielle, Aysa, Banco Comafi, Rio Uruguay Seguros, Sancor Seguros, Sancor Salud, entre
otros.

39. #testinguy
Alfonsina Morgavi
amorgavi@qactions.com
13 y 14 de mayo, 2019
testinguy.org | @testinguy | #testinguy
¿PREGUNTAS?
¡MUCHAS GRACIAS!

40. #testinguy
Ejercicio: Política de pruebas
Política de pruebas
1. Objetivo de la política de pruebas
2. Los objetivos y el valor agregado de las pruebas
3. Los niveles de calidad que deben alcanzarse
4. El nivel de independencia de la organización de las pruebas
5. Una definición de proceso de prueba de alto nivel
6. Las responsabilidades principales de pruebas
7. El enfoque de la organización hacia objetivos de mejora del proceso de pruebas

41. #testinguy
Ejercicio: Riesgos
• La percepción de los riesgos
• La actitud frente a los riesgos
• Testing trabajando en forma aislada
• Los riesgos típicos que se convierten en norma
• El registro de los riesgos desactualizado
• Los riesgos del producto y del proyecto tratados de la
misma forma
Matriz de riesgos
Probabili
dad
A 4 2 1
M 7 5 3
B 9 8 6
B M A
Impacto

42. #testinguy
Ejercicio: Riesgos

43. #testinguy
Ejercicio: Indicadores de resultados de las pruebas
Definir los siguientes indicadores
1. Esfuerzo de las pruebas
2. Plazo de ejecución de las pruebas
3. Número de defectos encontrados
4. Porcentaje de detección de defectos
5. Cobertura de las pruebas
6. Nivel de madurez de las pruebas