http://sg.com.mx/sgce/2013/sessions/alta-automatizaci%C3%B3n-pruebas-calidad-software-cambio-paradigmas Hablaremos del concepto Alta Automatización de Pruebas de Calidad de SoftWare y los paradigmas que se cambian con este innovador enfoque desarrollado por Grupo HDI. Entendiendo a la Alta Automatización como la implementación de un Modelo de Calidad de SW que aplica las mejores prácticas del mercado y las normas de calidad internacionales (ISO, NBR, IEEE, TMM, CMM) para acelerar el proceso de pruebas por medio de herramientas de automatización. Demostraremos las grandes ventajas de la Alta Automatización a través de STARC ® (Sistema de Testing Automatizado por Reutilización de Código) desarrollado por Grupo HDI, entre otras: Probar todas las posibilidades de Casos de Prueba de los sistemas a certificar en todos los ciclos de prueba: Casos de Negocio y sus derivaciones, Casos técnicos, Palabras reservadas, Caracteres especiales, Test de seguridad, Código mal intencionado, SQL / HTML injection, etc Combinación de datos Correctos/Incorrectos (Reducción de Matriz Binaria ©) Generar de forma automatizada Código para los Robots de Ejecución Uniformar el Modelado de Casos técnicos y de Negocio Generar Masas de Datos (Datapools) Generar Métricas de Calidad (Costo, Productividad, Defectos etc.) Probar dispositivos físicos (ATMs, TPVs, Token bancarios, etc) por medio de Brazos Robóticos Probar dispositivos de Audiorespuesta (tecnologías para Call Center) Con el máximo nivel de reutilización de los activos de prueba, e integradas en un solo modelo, lo que se refleja en reducción importante de costos y maximiza la calidad de los sistemas informáticos.

1. Alta automatización de pruebas de calidad de
software, cambio de paradigmas
Marco César Bassi
CEO
Grupo HDI

2. Quiénes somos !
Marco César Bassi
CEO
Grupo HDI

3. Onde estamos …
Escritórios: Brasil, EUA, Índia, Chile, Espanha, México
Representantes: Peru, Colômbia, Panamá e Portugal
Headquarter
Partner Local
Filial
Em implantação

4. Clientes
• Banco Itaú
• Unibanco
• Bradesco
• Banco Votorantim
• Votorantim Financeira
• Banco VR
• Cielo
• Mapfre
• Tokio Marine
• Global Payment
• CITI
• Gol Linhas Aéreas
...
• Wal Mart Corp
•Banco Adelante, Wal Mart
México)
• Nextel Chile e México
• Banco BICE
• Corporação Corp Chile
• Telefonica Perú
• Banco Santander
• Seguros MetLife (México e EUA)
• NTT Japão
• Canadian Bank
• Wolkswagen Brasil, Inglaterra e
Irlanda
• Banco Itaú Chile

5. Resumen
• Cuadro de TIC en Brasil es favorable a Inversiones en Calidad de Software a
finales de los 90.
• Las tecnologías existentes no tenían productividad necesaria para atender a
las exigencias de certificación del “Bug del Milenio”.
• Las inversiones de Grupo HDI en Herramientas de Testeo Automatizado
lograron resultados pero sin la productividad prometida por los proveedores
de estas.
• El camino fue “crear” un método de aceleración para pruebas
automatizadas.
5

6. Introducción
• Por que desarrollar métodos innovadores para
acelerar el testeo automatizado de sistemas?
• Demanda de los mercados.
• Inversiones poco efectivas.
• Baja productividad.
• Ningún caso efectivo de automatización.
• Cultura de “las herramientas no testean todo”…
6

7. FEBRABAN / Sector Bancario
92.000 M US$ > 600.000 personas > 16.000 puestos
> 35.000 ATM / Cajeros
110.000 M / transacciones electrónicas

8. Problemas encontrados
“… Compra de mano de obra, no de tecnología …”
SQA orientada a operación y no a estrategia de test
“ … Falta de madurez de las áreas de SQA en los clientes…”
Orientada a números y no a métricas reconocidas
Tener Área de QA no es tener Procesos o Políticas de SQA
“ … Falta de especialización de mano de obra …”
SQA es mas un especialista en los sistemas pero no en test
“ … Falta de métricas y estándares mundiales …”
No hay como justificar inversiones en calidad.
Se reconoce calidad como necesidad pero no se miden sus resultados por eso
no se generan políticas y estrategias en SQA
“ … Testes manuales para cobertura de sistemas Core, Públicos y Embebidos…”
Mismo volumen de test en distintos sistemas y complejidades que ofrecen distintos riesgos

9. Testers
Ejecución
Manual
Arquitectos
Escenarios y
Casos
Tests Manuales
Arquitectos
Definir
Estrategia
Tests
Arquitectos
& Analistas
Análisis Testers
Análisis de
Result.
Todos
Análisis de
Impacto
Todos
Carga de
Defectos
Todos
Generación
de Métricas
Ventajas
• Fácil de Implementar
• Cultura Predominante
Dificuldades
• La cobertura es directamente proporcional a la
cantidad de personas
• Dependiente de la calidad de la mano de obra
• Control y distribución de las informaciones
bastante difícil
• Poco escalables
• Poco repetibles

10. Todos
Carga de
Defectos
Robótica
Execución
Testers
Filmación
Arquitetos
Escenarios y
Casos
Tests Automatizados
Arquitectos
Definir
Estrategia
Testes
Arquitectos
& Analistas
Análisis
Analistas
Datapools
Testers
Análisis de
Result.
Arquitectos
Análisis de
Evid.
Todos
Generación
de Métricas
Arquitectos
Comparar
Ciclos
Todos
Análisis de
Impacto
Ventajas
• Repetibilidad
• Es posible ejecutar tests con mayor complejidad
• Es posible ejecutar tests e período extendido
• Es posible escalar tests sin escalar cantidad de
personas
• Costos de tests es previsibles
Dificuldades
• Depende de Personas especializadas
• Retorno de la Inversión muy largo
• Cuanto mayor el volumen de cambios es menos
atractivo
• Fuerte cambio cultural impone modificaciones en la
forma de trabajo de todos los involucrados en el
proceso de Construcción y Validación de Aplicativos
• Alteraciones en las funcionalidades obligan a que los
scripts sean actualizados uno a uno para que los tests
sean ejecutados nuevamente
• Si el cliente cambia el “robot” todo el legado deberá
ser filmado nuevamente con la nueva herramienta de
tests
• Si el proveedor descontinúa/cambiarla(las)
herramienta(s) de tests el cliente “puede” quedar con
el legado de testware en una tecnología descontinuada

11. Agregando Alta Automatización
STARC
Carga de
Defectos
Robótica
Execución
STARC
Filmación
STARC
Escenarios y
Casos
STARC e
Arquitectos
Estrategia
Testes
Arquitectos
& Analistas
Análisis
STARC
Datapools
STARC
Análisis de
Result.
Arquitectos
Análisis de
Evid.
STARC
Geración de
Métricas
STARC
Comparar
Ciclos
Todos
Análisis de
Impacto
Arquitectos
Modelo de
Negócio
Ventajas
• Técnicos tienen más tiempo para pensar en el
negocio, ya que la operación de las herramientas
de tests es casi toda automatizada.
• Feed-back constante a los desarrolladores sobre
normas internacionales y mejores prácticas.
• Cambios en el sistema sobre tests generan un
mínimo impacto en la productividad de la
Célula.
• Operación robotizada realmente 24 X 7 con el
uso de robot de monitoreo de disponibilidad del
aplicativo que está siendo testeado.
• Todas las métricas de CMMI y TMM referentes a
calidad son generadas automáticamente por las
células de calidad.
• SETUP de la Célula en una semana. Generación de
miles de casos de tests en múltiples coberturas
simultáneas, es plenamente posible en la segunda
semana.
• El proceso de Alta Automatización entrega los
sistemas testeados y documentados con muy poco
esfuerzo extra.

12. Generación Automática de Código
Alta Automoción
12

13. Generador automático de HDI - STARC
STARC
Normas
Requerimientos
Mejores
Prácticas
Objetos del
Sistema
ROI
Herramientas
Métricas de
Calidad
Modelos de
Documentación
Monitor de
disponibilidad
Disparo
Remoto
Sentidos STARC
Generación de
Datos
Generación de
Código
ICR/OCR
Padrones en
Imágenes
Docs.
Pantallas
Palabras clave
programación
Código
malicioso
Riesgos

14. Alta Automatización
Aplicaciones Prácticas
14

15. 15
Reutilización
(Datos reales, Banco global X)
Recepción de los
Artefactos
Entendimiento
Arquitectura de
los tests
Automatización
Ejecución del
Ciclo 1
Fase 1
Chile
144 horas (30 impacto)
CP Ejecutados 209
CP Modelados 256
Ejecución de los
Ciclos 2 y 3
Fase 2
Colombia
8 horas
Generación de
Datos
CP Ejecutados 86
(solo negocio)
Recepción de los
Artefactos
Entendimiento
Arquitectura de
los tests
Automatización
Ejecución del
Ciclo 1
Fase 3 Colombia
1 hora
CP Ejecutados 6 (negocio)
CP Modelados 63 (otras)
Primeros requerimientos recibidos
Depósitos en efectivo y Reversa Nuevo requerimiento
Consulta de Saldo

16. Testeo Funcional – Ciclos consecutivos

17. Testeo Funcional – Costo X Casos testeados

18. Testeo de Seguridad
Ejemplo Código Malicioso

19. Testeo de Seguridad
Ejemplo Código Malicioso

20. 20
Homologación Comparada
UAT Asistido por Robots

21. Agregando sentidos humanos..
Testeo de Software Embarcado
en Hardware

22. Resultados
• Desarrollo de una metodología de aceleración de tests
automatizados que logra con el mismo costo de testear “a la
mano” un mínimo de 10 veces mas escenarios y casos ejecutados,
con testeo simultaneo de seguridad, mejores practicas, unitarios y
con reúso para UAT.
• Desarrollo de un nuevo modelo de tests que puede ser utilizados
para certificación de software y hardware sin cambios
significativos.
• I&D efectivamente multinacional. Uso en 11 países…

23. Dudas
Marco César Bassi
mcbassi@grupohdi.com
www.grupohdi.com