Test automation es uno de los temas que más nos interesa en la comunidad de testing, pero un error muy común es que nos focalizamos en automatizar una capa en particular (generalmente UI) y nos olvidamos del resto (API/Services, Unit). Para que podamos definir una estrategia completa de nuestro sistema a testear tenemos que entender bien ciertos conceptos claves en cada una de las capas, visualizar mas allá de la pirámide de Test Automation de Mike Cohn, y meternos en el mundo que normalmente queda en el ámbito de los desarrolladores. A su vez, no podemos ignorar el impacto que Continuos Delivery/Deployment esta teniendo en la industria desde hace tiempo, pero que pocos logran implementar. Propongo hacer un pasaje por todos estos temas, definir algunos puntos controversiales que seguro generará un poco de debate.

1. Estrategias y controversias
de Test Automation
NICOLÁS ARKHIPENKO

2. Agenda
→La pirámide y sus capas.
→Que testean los desarrolladores.
→End-to-end sí, End-to-End no.
→Como encaja en un modelo de CD.
→Cobertura de tests.

3. Preconditions (de Test Automation)
⌦Automatizamos el checking, no el testing.
⌦El testing manual no es reemplazable.
⌦Automation es un conjunto de herramientas.
⌦Etc.

4. Mike Cohn
2009
UI
Service
Unit

5. Alister Scott
2012
UI
API
Integration
Component
Unit
Exploratory
Testing

6. Unit Test
• Parte “mas pequeña” a ser testeada
• Una clase, un método, una función, etc.
• Completo aislamiento (mocks, stubs)
• Tests determinísticos
• Feedback más rápido
UI
API
Integration
Component
Unit
Exploratory
Testing

7. Component Tests
UI
API
Integration
Component
Unit
Exploratory
Testing

8. Integration Tests
UI
API
Integration
Component
Unit
Exploratory
Testing
A B
Unit Tests Unit Tests
Sin Mocks

9. API Tests
UI
API
Integration
Component
Unit
Exploratory
Testing
• RESTful APIs automation donde esta el
foco hoy
• Multiples frameworks y tools para
automatizar
• Rest-assured (java), supert-test(JS),
Postman (tool)

10. UI Tests
UI
API
Integration
Component
Unit
Exploratory
Testing
• Webdriver como W3C standard
• End-to-end = UI test y/o API test

11. End to End automation

12. CD y End-to-end tests
• Continuos Delivery = principios y practicas para reducir el tiempo para llegar a
produción, que depende de test automatizados rapidos y confiables.
• End-to-end no tienen que ser ejecutados cuando se hace el build
• Solo para smoke test despues de deployar para asegurarse caminos basicos del
usuario
• Falsa sensación de cobertura, y poca inversión en infraestructura

13. Alister Scott
2012
UI
API
Integration
Component
Unit
Exploratory
Testing
Antipatrón
• Tiempo ejecución
• Indeterminismo

14. Richard Bradshaw
2016
Tools
Icecream
Pyramid
Exploratory
Testing

15. Ejemplo 1 – Client side Logic
Cliente
(browser)
Servidor Base de
datos
Lógica de
negocio

16. Ejemplo 2 - Server side logic
Cliente
(browser)
Servidor Base de
datos
• Autenticación
• Navegación
• Buscador
• Transacciones
Lógica de
negocio

17. Ejemplo 3 – Serverless Architecture
Martin Fowler

18. Cobertura
(proporción)
50%
20%
20%
10% UI
API
Integration
Component
Unit
Manual

19. Cobertura
UI
API
Integration
Component
Unit
Exploratory
Testing
• Code Coverage
• Mayor coverage no significa mayor calidad
• 85% “magic number”
• Mutation testing

20. Cobertura
UI
API
Integration
Component
Unit
Exploratory
Testing
• RAML o Swagger
• 80% criterios de aceptación

21. Cobertura
UI
API
Integration
Component
Unit
Exploratory
Testing
• 80% criterios de aceptación
• % Test Cases
• Métricas cuantitativas y cualitativas

22. Conclusiones
• Una estrategia requiere de automatizar todas las capas (posibles), sin descuidar la
proporción de la piramide.
• Automatizar las capas de abajo, es mas importante que automatizar las capas de
arriba (Test unidad no se puede testear manualmente, integración y UI si).
• Continuos Delivery se puede ver perjudicado por tests End-to-end automatizados.
• Mucha cobertura no implica buena calidad.
• Como testers no podemos ignorar una industria que necesita algo completamente
distinto a lo que tradicionalmente hacíamos.

23. Driver.quit()
Q&A