Este documento presenta una charla sobre el diagnóstico y tratamiento de enfermedades en la automatización de pruebas. La charla cubre temas como problemas comunes en automatización de pruebas, patrones para solucionar dichos problemas y una metodología de diagnóstico similar a la de un médico. El objetivo es ayudar a los asistentes a identificar problemas en sus propios procesos de automatización y aplicar los patrones recomendados para cada caso.

1. !!
T21
Test!Automation!
10/16/2014!3:00:00!PM!
!
The Doctor Is In:
Diagnosing Test Automation
Diseases
!
Presented by:
Seretta Gamba
Steria Mummert ISS GmbH
!
!
Brought(to(you(by:(
(
(
(
340!Corporate!Way,!Suite!300,!Orange!Park,!FL!32073!
888G268G8770!H!904G278G0524!H!sqeinfo@sqe.com!H!www.sqe.com

2. Seretta Gamba
Steria Mummert ISS GmbH
Seretta Gamba has more than thirty years’ experience in software development
and testing. As test manager at Steria Mummert ISS GmbH, Seretta was
charged with improving their test automation process. After studying other
strategies, she developed command-driven testing and a supporting framework.
Seretta presented an enhancement to the framework that enabled the test
automation team to “harvest” test case information by supporting manual testing.
A description of this experience became a chapter in Experiences of Test
Automation by Dorothy Graham and Mark Fewster.

3. THE DOCTOR IS IN
How to diagnose Test
Automation diseases
(and cure them with
patterns)
AGENDA
! Short introduction to
! Issues
! Patterns
! Diagnostics
! Examples
! Questions

4. ISSUES
! Problems)or)tasks)that)have)to)be)tackled)
when)doing)test)automa6on)
! Offer)a)selec6on)of)pa;erns)that)you)can)
choose)from)in)order)to)solve)them)in)your)
specific)context)
AN ISSUE IS A PROBLEM THAT HAS
BEEN TACKLED OVER AND OVER
ISSUES (~70)
! Process'Issues:)test)automa6on)problems)that)occur)when)
the)test)automa6on)process)has)not)yet)been)established)
or)hasn’t)yet)reached)the)necessary)maturity)
! Management'Issues:)problems)that)occur)when)
management)has)not)given)the)necessary)support)or)
resources)to)the)automa6on)team)or)team)members)are)
new)to)test)automa6on.))
! Design'Issues:'test)automa6on)problems)that)can)occur)
when)an)efficient)testware)architecture)and)maintainability)
are)not)built)in)from)the)very)beginning.)
! Execu5on'Issues:'test)automa6on)problems)that)occur)
when)the)automated)tests)are)run)and)range)from)
unpredictable)results,)to)interdependent)tests,)to)
automa6on)that)needs)manual)handling)

5. PATTERNS
! Generally)reusable)solu6ons)to)commonly)
occurring)problems)within)a)given)context)
! Descrip6on)or)template)for)how)to)solve)a)
problem)that)can)be)used)in)many)different)
situa6ons)
! Pa;erns)can)use)or)need)other)pa;erns)
A PATTERN IS EXPERT KNOWLEDGE
PROVEN BY REPEATED EXPERIENCES
PATTERNS (~70)
! Process'Pa6erns:)show)how)the)test)automa6on)
process)should)be)set)up)or)how)it)can)be)
improved)
! Management'Pa6erns:)show)how)to)manage)
test)automa6on)both)as)an)autonomous)project)
or)integrated)in)the)development)process.))
! Design'Pa6erns:'show)how)to)design)the)test)
automa6on)testware)so)that)it)will)be)efficient)
and)easy)to)maintain.)
! Execu5on'Pa6erns:'show)how)to)take)care)that)
test)execu6on)is)easy)and)reliable.))

6. DIAGNOSTICS
Why'use'diagnos5cs?'
)
Test'Automa5on'Pa6erns'are'most'useful'if'it's'
possible'to'focus'just'on'the'ones'that'really'
help'solve'your'issues.'Usually'one'no5ces'that'
things'are'not'going'as'well'as'expected,'but'
it's'difficult'to'localize'the'actual'problems,'
especially'from'within.'
SICK PERSON?
What'do'you'do'when'you'
feel'sick?'
! Wait)un6l)it‘s)over)
! Search)in)Internet)for)a)cure)
! Ask)a)friend)for)advice)
! Study)medicine)
! Go)to)your)doctor)

7. SICK PERSON?
What'does'the'doctor'do?'
! Asks)you)why)you)came)
! Measures)blood)pressure)
etc.)
! Asks)more)detailed)
ques6ons)
! Tells)you)what)you)got)
! Orders)some)cure)
SICK PERSON?
By'asking'good'ques5ons'the'doctor'
diagnosed'your'illness'and'could'give'you'
the'appropriate'medicine:'You'get'well!'
You)take)the)
medicine)

8. SICK AUTOMATION?
What'do'you'do'when'your'
automa5on'is'sick?'
! Just)go)on)as)always)
! Search)in)Internet)for)a)cure)
! Pay)a)consultant)
! Become)a)test)automa6on)
guru)
! Come)to)STARWest)to)the)
automa6on)doctor)
SICK AUTOMATION?
What'does'the'automa5on'
doctor'do?'
! Asks)you)why)you)came)
! Does)not)measure)blood)
pressure)etc.)
! Asks)more)detailed)ques6ons)
! Tells)you)what)your)issue(s))are)
! Suggests)what)pa;ern(s))to)
apply)

9. SICK AUTOMATION?
By'asking'good'ques5ons'you'can'iden5fy'your'
issue(s)'and'thus'select'the'most'appropriate'
pa6ern(s):'Your'automa5on'gets'well!'
You)apply)the)pa;ern(s))
EXAMPLES

10. EXAMPLE 1: FIRST QUESTION
□ You)are)you)completely)
happy)with)your)
automa6on)at)this)6me))
□ You)want)to)improve)or)revive)
your)test)automa6on)
□ You)have)never)done)test)
automa6on)before)
You)are)in)
the)wrong)
talk!)
X'
X'
Your)issue)is:)
NO#PREVIOUS#TEST#
AUTOMATION#
12%)
How)sa6sfied)are)you)with)your)current)
automa6on?)
EXAMPLE 1: ISSUE
NO#PREVIOUS#TEST#AUTOMATION#
You)are)supposed)to)start)automa6ng)tests,)but)
neither)you)nor)your)team)has)any)experience)in)test)
automa6on)and)it)hasn’t)ever)been)implemented)in)
the)company,)or)it)was)tried)earlier)and)failed)so)you)
need)to)start)again)
)
! You)have)never)successfully)got)going)with)test)
automa6on.)
! You)have)tried)in)the)past)with)test)automa6on)but)it)
was)abandoned.)
! You)are)wan6ng)to)automate)in)a)way)that)you)haven't)
done)before)(e.g.)GUI)level)system)tes6ng)if)you)have)
automated)unit)tests)already).)
)

11. NO PREVIOUS TEST AUTOMATION
Most'recommended:#
1. SET)CLEAR)GOALS)
2. MANAGEMENT)SUPPORT)
3. DEDICATED)RESOURCES)
4. RIGHT)TOOLS)
5. AUTOMATION)ROLES)
6. PLAN)SUPPORT)ACTIVITIES)
7. MAINTAINABLE)TESTWARE)
8. AUTOMATE)WHAT’S)NEEDED)
9. TAKE)SMALL)STEPS)
10. UNATTENDED)TEST)EXECUTION)
EXAMPLE 2: FIRST QUESTION
□ Are)you)completely)happy)
with)your)automa6on)at)
this)6me?))
□ Do)you)want)to)improve)or)
revive)your)test)automa6on?)
□ Have)you)ever)done)test)
automa6on)before?)
X'

12. EXAMPLE 2: SECOND QUESTION
What'describes'the'most'pressing'problem'you'
have'to'tackle'at'the'moment?'
)
□ Lack)of)Support?))
□ Lack)of)specific)knowledge?)
□ Unsa6sfactory)quality)of)
automa6on?)
□ Lack)of)Resources?))
□ Lack)of)Direc6on?))
56%)
X'
33%)
29%)
39%)
29%)
EXAMPLE 2: THIRD QUESTION
What'is'the'main'reason'for'the'lack'of'resources?'
)
□ Expenses)not)budgeted)
□ Not)enough)machines)
□ Shared)resources)with)tes6ng)/)
development)
□ Not)enough)tool)licenses)
□ Insufficient)6me)planned))
□ Training)hasn’t)been)planned)
□ Nobody)is)in)charge)
X'
Your)issue)is:)
SCHEDULE#SLIP#
62%)
35%)

13. EXAMPLE 2: ISSUE
SCHEDULE#SLIP:#The)planned)automa6on)is)not)
keeping)up)with)its)schedule)for)developing)the)
automa6on)or)for)automa6ng)tests#
)
! Test)automa6on)is)done)only)in)people's)spare)6me.))
! Team)members)are)working)on)concurrent)tasks)which)
take)priority)over)automa6on)tasks.)
! Schedules)for)what)automa6on)can)be)done)were)too)
op6mis6c.)
! Necessary)sonware)or)hardware)is)not)available)on)6me)
or)has)to)be)shared)with)other)projects)
! The)planned)schedule)was)not)realis6c)
)
EXAMPLE 2: ISSUE
SCHEDULE#SLIP:#The)planned)automa6on)is)not)
keeping)up)with)its)schedule)for)developing)the)
automa6on)or)for)automa6ng)tests#
)
Most'recommended:'
! SHORT)ITERATIONS)
! WHOLE)TEAM)APPROACH)
! DEDICATED)RESOURCES)
! PLAN)SUPPORT)ACTIVITIES)
)
Other'useful'pa6erns:'
! FULL)TIME)JOB)
! MANAGEMENT)SUPPORT)
)
)

14. EXAMPLE 2: PATTERN
DEDICATED'RESOURCES:#The)test)automa6on)team)
is)available)full)6me)and)all)the)needed)tools)and)
machines)are)in)place#
)
Context)
Not)applicable)for)very)small)organiza6ons)with)only)one)or)
two)testers.)
Descrip5on'
! A)test)automa6on)team)is)assigned)to)work)on)test)
automa6on)fullq6me,)without)other)responsibili6es.)
! Any,)tools,)u6li6es,)machines)or)other)resources)are)
provided)as)needed.))
! You)can)get)the)help)of)specialists)when)you)need)it.)
)
)
EXAMPLE 2: PATTERN
DEDICATED)RESOURCES:)The)test)automa6on)team)
is)available)full)6me)and)all)the)needed)tools)and)
machines)are)in)place)
)
Implementa5on'
! Test)automa6on)should)be)done)as)a)FULL)TIME)JOB)
! PLAN)SUPPORT)ACTIVITIES)
! Tools)and)machines)to)run)the)tests)need)to)be)available,)
and)ideally)dedicated)to)running)automated)tests.)GET)
ON)THE)CLOUD)for)costqefficiency.)
! SHARE)INFORMATION)
)

15. EXAMPLE 2: PATTERN
DEDICATED'RESOURCES:#The)test)automa6on)team)
is)available)full)6me)and)all)the)needed)tools)and)
machines)are)in)place#
)
Poten5al'problems'
It)is)onen)the)case)that)resources)are)severely)limited,)
but)expec6ng)people)to)"do)test)automa6on)in)their)
spare)6me")is)very)unlikely)to)work,)and)is)not)efficient.)
)
)
EXAMPLE 3: FIRST QUESTION
□ Are)you)completely)happy)
with)your)automa6on)at)
this)6me?))
□ Do)you)want)to)improve)or)
revive)your)test)automa6on?)
□ Have)you)ever)done)test)
automa6on)before?)
X'

16. EXAMPLE 3: SECOND QUESTION
What'describes'the'most'pressing'problem'you'
have'to'tackle'at'the'moment?'
)
□ Lack)of)Support?))
□ Lack)of)specific)knowledge?)
□ Unsa6sfactory)quality)of)
automa6on?)
□ Lack)of)Resources?))
□ Lack)of)Direc6on?))
X'
29%)
EXAMPLE 3: THIRD QUESTION
What'do'you'think'is'the'main'reason'for'the'lack'
of'quality?'
)
□ The)expected)Return)On)Investment)(ROI))hasn't)
been)achieved)
□ Automated)scripts)don’t)execute)reliably)
□ The)automa6on)project)is)not)on)schedule)
□ Maintenance)of)automa6on)is)too)expensive)
□ ……)
X'
49%)
41%)

17. EXAMPLE 3: FOURTH QUESTION
What'makes'maintenance'costs'too'high?'
)
□ Adap6ng)the)automa6on)scripts)to)the)current)
version)of)the)SUT)
□ Refactoring)of)the)automated)scripts)
□ Changing)tools)
□ Crea6on)or)recovery)of)test)data)
X'
EXAMPLE 3: FIFTH QUESTION
What'is'the'data'issue'that'currently'gives'you'
the'most'headaches?'
)
□ Setng)up)the)ini6al)environments)
□ Preparing)the)expected)results)
□ Reusing)exis6ng)data)
□ Disposing)of)redundant)data)
X'
We'are'geWng'more'and'more'specific!'

18. EXAMPLE 3: SIXTH QUESTION
What'is'so'difficult'in'seWng'up'the'ini5al'
environments?'
)
□ Test)cases)are)poorly)wri;en:)you)don’t)really)
know)what)to)set)up)
□ Complex)environment)
□ Variable)database)contents)(for)instance)
anonymized)customer)data))
□ Tests)run)on)mul6ple)plauorms)
X)
EXAMPLE 3: 7TH QUESTION
Why'is'there'insufficient'informa5on'in'the'test'
cases'about'the'setYup'of'the'test?'
)
□ Testers)are)not)very)experienced)
□ Testers)know)the)system)so)well)that)
they)don't)need)much)descrip6on)in)
the)test)cases,)but)don't)have)6me)to)
explain)them)to)you.)
□ The)Sonware)Under)Test)(SUT))is)s6ll)
very)unstable)and)the)requirements)
change)daily)
X)
Your)issue)is:)
INADEQUATE#
SUPPORT#

19. EXAMPLE 3: ISSUE
INADEQUATE#SUPPORT:#The)test)automa6on)
team)doesn't)get)adequate)support)from)
management,)testers)or)other)specialists#
)
! Management)knows)too)li;le)about)benefits)or)needed)
investments)
! Testers)don’t)have)6me)to)support)the)test)automa6on)
team.)
! You)need)support,)but)nobody)has)6me)for)you)
! Schedules)were)too)op6mis6c.)
! Necessary)sonware)or)hardware)is)not)available)on)6me)
or)has)to)be)shared)with)other)projects)
)
EXAMPLE 3: ISSUE
INADEQUATE#SUPPORT:#The)test)automa6on)
team)doesn't)get)adequate)support)from)
management,)testers)or)other)specialists#
)
Most'recommended:'
! MANAGEMENT)SUPPORT)
! PLAN)SUPPORT)ACTIVITIES)
Other'useful'pa6erns:'
! SELL)THE)BENEFITS)
! SHARE)INFORMATION)
! SHORT)ITERATIONS)
)
)

20. WIKI
! Test)automa6on)Pa;erns,)Issues)and)diagnos6c)
ques6ons)are)described)in)more)detail)in)the)wiki)
! Testautoma5onpa6erns.wikispaces.com'
! Purpose:)share)informa6on,)ideas)and)
experiences)about)test)automa6on,)using)issues)
and)pa;erns)
! Mindqmaps)summarize)issues)and)pa;erns)(not)
clickable)as)links))
! Issues)and)pa;erns)are)classified)into)subq
sec6ons)(e.g.)management,)process,)etc.))
! wiki)started)28)January)2013)
WIKI
! A)“work)in)progress”)
! A)new)way)of)presen6ng)known)informa6on)
! Public)(readqonly))
! If)you)want)to)contribute)please)ask)to)be)
invited.)We)welcome)feedback)on)the)wiki)")
! This)is)a)new)resource)that)will)grow)
! The)more)you)add,)the)more)valuable)it)will)be)
! please)add)your)experiences)of)pa;erns,)6ps,)
problems,)solu6ons)

21. FINALLY
! Thank)you)for)coming)today!))
! Any)ques6ons)now?)
! Contact)me)anerwards:)
! sr;gmb@yahoo.com)
! All)the)best)with)your))
test)automa6on!)