El documento presenta una metodología para la automatización de pruebas funcionales y de rendimiento en sistemas web, enfatizando la reducción de costos y la mejora de la flexibilidad en la generación de scripts de prueba. Se propone un enfoque que utiliza scripts de Selenium para facilitar la creación de pruebas de rendimiento, logrando una disminución significativa en el esfuerzo requerido para su implementación. Además, se discuten trabajos relacionados y se plantean direcciones futuras para el desarrollo de generadores de carga.

3. Agenda
• Introducción y background
– Functional Testing Automation
– Performance Testing Automation
– Motivación
• Propuesta
• Trabajo Relacionado
• Conclusiones y trabajo futuro

4. Funcional Testing Automation
• Record and Playback
• User interface level automation
• Selenium

5. Intro a Selenium
Tester / User
SUT: System Under Test
Manual Test Case
Execution

6. Intro a Selenium
Functional
Test Scripts
Selenium captura las
Interactiones del usuario
Tester / User
Ejecución y reporte
SUT: System Under Test
Manual Test Case
Execution
This is record and playback!

7. Performance Testing Automation
• Record and playback, pero a nivel de
Protocolo
• Load generator ( )
– Simulación de múltiples Virtual
Users concurrentes desde pocas
máquinas de prueba
– No pueden ser simulados con
navegadores reales
– Entonces, la herramienta ejecuta
procesos que simulan el tráfico
HTTP

8. ¿Cómo capturar el tráfico?
Performance
Test Scripts
captura el
trafico HTTP
Tester / User
Ejecución y reportes
SUT: System Under Test
HTTP traffic
Web Server
Manual Test Case
Execution

9. Performance Test Script
Dependiendo del
sistema,
1 linea en Selenium
es equivalente a 200
lineas in OpenSTA

10. Performance Testing Methodology
• Vázquez, G., Reina, M., Toledo, F., de Uvarow, S., Greisin, E., López, H.:
Metodología de Pruebas de Performance. Presented at the JCC (2008).
Test Design Automation
Execute
AnalyzeFixEntre el 30% y 50% en
tareas de automatización

11. Motivación
• Performance testing es muy caro
• No hay flexibilidad
– Si la aplicación cambia, es necesario reconstruir
los scripts
Objetivos para performance testing automation
• Reducir costos
• Mejorar la flexibilidad

12. Proposal Overview
Functional
Test Scripts
System Under
Test
HTTP traffic
Sniffer HTTP
Automatic Test Case
Execution
HTTP session
System Under
Test Interface

13. Proposal Overview
Functional
Test Scripts
Http session
Http session
model
Generate
Performance Test
Scripts
Generate

14. Artefactos del Proceso

15. Meta-model
Relacionado con el Protocolo
Relacionado con el script de prueba funcional

16. Test code generation

17. Generación Automatica
• Se insertan Timers
• Se agregan las mismas Validaciones as que hay en
el Script Selenium
• Se Modulariza como en el Script Selenium
• Se Parametrizan los datos tal como estaba en el
Selenium Script (data-driven testing)
• Cualquiera de estas tareas lleva menor esfuerzo a
nivel de UI que a nivel de protocolo

18. Empirical Validation: Industrial Use
Proyecto SUT # Scripts # VU
Human Resources
System
Base de datos AS400, Java Web
sobre Websphere
14 317
Production
Management
System
Base de datos AS400, C# Web
sobre Microsoft Internet
Information Services
5 55
Courts
Management
System
Java Web sobre Tomcat con base
de datos Oracle
5 144
Auction System Java Web sobre Tomcat con base
de datos MySQL
1 2000
Logistics System Java Web sobre Weblogic con
base de datos Oracle
9 117

19. Resultados
• El esfuerzo requerido sin nuestro framework
se reduce más de 5 veces
– Enfoque Tradicional : 6 a 10 horas por script
– Nuestro enfoque: 1 a 5 horas por script
• Flexibilidad
– Mantenimiento en enfoque tradicional:
reconstruir los script casi completamente
– Nuestro enfoque: ajustar scripts Selenium,
regenerar

20. Related Work
• Generation of performance tests (Web Services)
– García Domínguez et al.: Performance Test Case Generation for
Java and WSDL-based Web Services from MARTE. Advances in
Internet Technology. 2012.
• Generation of performance tests (Web Systems)
– Use Selenium scripts for performance testing
• TestMaker (www.pushtotest.com)
• Scaleborn (www.scaleborn.com)
• Generation of performance tests (Web Systems)
– De Sousa: Reusing Functional Testing in order to Decrease
Performance and Stress Testing Costs. SEKE 2011.
• Generate statically the Selenium scripts to JMeter scripts. They do not
consider the http traffic
– Secondary requests, 302, …
– Java scripts

21. Conclusions
• Objetivos buscados para performance testing
– Mejorar flexibilidad
– Reducir costos
• Trabajo Futuro
– Generar para distintos Load Generators
• JMeter (jmeter.apache.org)
• Considerando diferentes protocolos o tecnologías

22. Acknowledgement:
(ftoledo@abstracta.com.uy)
(mreina@abstracta.com.uy)
(fbaptista@abstracta.com.uy)
(macario.polo@uclm.es)
(beatriz.plamancha@uclm.es)
Generación de Pruebas de
Rendimiento a Partir de Pruebas
Funcionales para Sistemas Web
MSc. Federico Toledo
Eng. Matías Reina
Eng. Fabián Baptista
PhD. Macario Polo Usaola
PhD. Beatriz Pérez Lamancha
Gracias
¿Preguntas?