Presentatie van Frans Appels en Marije Horbach

1. Hoe usability onderzoek
succesvol toepassen

2. Inhoud
1: Wie zijn wij?
Frans Appels
Marije Horbach
Netprofiler
2: Usability
Expert reviews
Online onderzoeken
Usability think-aloud onderzoek met eyetracking
3: Think-aloud
Concurrent think-aloud
Retrospective think-aloud
Constructive Interaction
4: Case Baobab

3. 1. Wie zijn wij?

4. Frans Appels & Marije Horbach
• Managing Consultant van
online marketing bureau Netprofiler
• Voorzitter Web Analytics Associatie NL
• Docent: NextMarketeer, Beeckestijn,
IDMK en Lectric 3 daagse training
“Conversie Optimalisatie”
• Studie: Communicatie- Informatiewetenschappen
(Vrije Universiteit)
• Afstuderen: “De voorspellende validiteit van de
hardop denkmethode in een vergelijkend
revision-based studie”.

5. Over Netprofiler
• Online marketing bureau gespecialiseerd in:
- Web analytics
- User experience & Conversie optimalisatie
- Traffic optimalisatie (search, social media, affiliates)
• Netprofiler: 15 consultants
• Partner van:
5

6. Wij helpen mee om de conversie te verbeteren voor:

7. De 6 fases van conversie optimalisatie
6. Organisatie & proces
5. Behavioural targeting
Conversie 4. A/B & multivariate testing
impact “Actionable
3. Usability onderzoek insights”
2. Expert audit
1. Web analytics
7

8. 2. Usability

9. 2. Usability?
Definities:
“To ensure that the user can achieve his goal effectively, efficiently and
satisfactory.”
“Nothing important should ever be more than two clicks away.”
“Spreek de taal van de bezoeker”
“Wees consistent op je website”
Usability is: don’t make the user think!
9

10. 2. Usability in general
Guru’s?
Jacob Nielsen
“People are on the Web not to enjoy your
Web design, but to get something done.”
Steve Krug
“Usability really just means making sure
that something works well: that a person
of average (or even below average) ability
and experience can use the thing-wether
it’s a website, a fighter jet, or a revolving
door – for its intended purpose without
getting hopelessly frustrated.”
Donald Norman
“User-centered design means working with
your users all throughout the project.”
10

11. Drie manieren om de usability te onderzoek
1. Expert review
2. Online onderzoeken (op afstand)
3. Usability (think-aloud) onderzoek (met eyetracking)
Uitgangspunten:
• Doel (business en klant)
• Doelgroep(en)
• Belangrijkste taak / taken

12. 2.1 Expert review
Bij een expert review wordt de website, pagina of applicatie geëvalueerd door de
expert.
Dit kan op verschillende manieren. Hieronder twee manieren:
a) Scenario-evaluatie
b) Heuristische evaluatie

13. 2.1a Expert review: Scenario-evaluatie
Bij de scenario-evaluatie bezoeken de experts met een vooraf opgesteld scenario
een website. In dit wordt een fictieve websitebezoeker beschreven. Zo’n scenario
bestaat uit een beschrijving van de context met daarbij een aantal concrete vragen.
De experts bezoeken vanuit de rol in het scenario, de website en proberen de vragen
te beantwoorden.
Voordelen van deze methode:
• experts richten zich op gebruikersproblemen, en minder op hun eigen opvattingen
over geslaagde online communicatie.
• experts leven zich beter in de doelgroep door het opgestelde scenario
• experts gaan zelf actief aan de slag op de website en ervaren zo zelf of de te nemen
stappen logisch zijn.

14. 2.1b Expert review: Heuristische evaluatie
Bij een heuristische evaluatie maken de experts gebruik van een lijst
met criteria waaraan de website beoordeeld wordt. Per criterium
geven ze vervolgens een mening over de kwaliteit.
In de criterialijst komen de volgende aspecten aan bod:
• Navigatie
• Toegankelijkheid
• Call-to-action
• Content
• Formulieren
• Zoekfunctie
• Bestelproces
Voordelen van deze methode:
• experts richten zich op alle aspecten van de website en slaan daardoor niets
over.
• door gebruik te maken van heuristieken wordt er gestructureerd te werk
gegaan bij het reviewen van de website.

15. 2.2 Online onderzoeken (op afstand)
• Een snelle manier om gebruikers in een usability onderzoek te betrekken, is
door het gebruik van online usability tools.
Met onderstaande tools kunnen online ontwerpen voor pagina’s aan de
gebruiker voorgelegd worden. Deze testen zijn geautomatiseerd omdat de
vragen vooraf bedacht zijn en deze test worden zonder de aanwezigheid van
een facilitator uitgevoerd.
Tool waarmee micro-usability test worden uitgevoerd. De pagina’s worden
samen met enkele vragen voorgelegd aan de gebruikers. De gebruikers
kunnen notities en markeringen op de pagina plaatsen. Output is een
heatmap van deze notities en markeringen.
Tool waarmee HTML-pagina’s getest kunnen worden met interacties. Op deze
manier kan er goed onderzoek gedaan worden naar klikpaden en navigatie.
Naast de clicks geven de gebruikers uitleg en commentaren bij het uitvoeren
van de opdrachten.

16. 2.2 Online onderzoeken (op afstand)

17. 2.2 Online onderzoeken (op afstand)

18. 2.3 Usability onderzoek met eyetracking
• Usability onderzoek met eyetracking biedt de mogelijkheid om de gebruiker
real-time aan de slag te zien met opdrachten op de website, of het ontwerp.
Het voordeel is dat de facilitator eventueel kan doorvragen.
• Usability onderzoek kan je uitvoeren in combinatie met eyetracking. De
eyetracking wordt vooral gebruikt tijdens het meekijken
• Per onderzoek nodigen we minimaal 6 respondenten uit, die elk een half
uur of uur aan het onderzoek deelnemen.
• We voeren de onderzoeken uit met hardop denkmethodes (think aloud).
• De output van het onderzoek is een kort en bondige rapportage waarmee
website bouwers en ontwerpers direct aan de slag kunnen gaan. De
rapportage is gebaseerd op screenshots waarbij de fout en de oplossing
gegeven wordt om de gebruiksvriendelijkheid van het element te verbeteren.

19. 2.3 Usability onderzoek met eyetracking

20. 3. Think-aloud

21. 3. Think-aloud protocols
• Bij Hardop Denkonderzoek werken gebruikers met een website en
verbaliseren hierbij hun gedachten.
– Gebruikers: uit de doelgroep
– Opdrachten: representatief voor de gemiddelde gebruiker
– Schermopname
– Meekijken in de meekijkruimte
– Facilitator maakt aantekeningen
21

22. 3. 3 varianten think-aloud
1. Concurrent Think-Aloud (CTA)
Respondent voert opdrachten uit terwijl hij hardop nadenkt
2. Retrospective Think-Aloud (RTA)
Respondent voert de opdrachten uit in stilte en verbaliseert achteraf zijn
gedachten
3. Constructive Interaction (CI)
Twee respondenten overleggen
hardop over de aanpak van de
opdrachten

24. 4. Case: Baobab

25. Revision-based onderzoek
• Testen met de eerste versie van de website
• Aanpassingen
• Testen met de tweede versie van de website
Predictieve validiteit
25

26. Homepage eerste versie
26

27. Voorlopige resultaten
De resultaten worden uiteengezet in:
• Tijd taakuitvoering
• Aantal unieke problemen
• Detectie van de problemen
• Typen problemen
27

28. Tijd taakuitvoering
• CTA (terwijl): gemiddeld 23 minuten
• RTA (achteraf): gemiddeld 25 minuten (in totaal 50 minuten)
• CI (samen): gemiddeld 29,5 minuten
Tijd (min) CI
RTA
CTA
0 10 20 30 40
28

29. Aantal unieke problemen
• CTA (terwijl): 43,24 %
• RTA (achteraf): 52,03 %
• CI (samen): 65,54 %
70
60
50
40 CTA
30 RTA
20 CI
10
0
Percentage unieke problemen
29

30. Detectie van de problemen
• CTA:
– Geverbaliseerd: 34 100
90
– Geobserveerd: 38 80
– Beide: 46 70
60
• RTA: 50
– Geverbaliseerd: 42 40 CTA
30
– Geobserveerd: 43 20 RTA
– Beide: 31 10 CI
0
• CI:
– Geverbaliseerd: 87
– Geobserveerd: 17
– Beide: 70
30

31. 4. Typen problemen
25
20
15
10 CTA
RTA
5
CI
0
31

32. 5. Tot slot

33. Conclusie
1. Expert review
– Snel - Expert vs gebruiker
– Overzichtelijk - Deel van de website
– Twee perspectieven
2. Online onderzoeken (op afstand)
– “Goedkoop” - Geen controle
– Veel respondenten - Geen context
3. Usability think-aloud onderzoeken
– Gedegen - Veel tijd in beslag.
– Mogelijkheid om door te vragen - Expertise en benodigdheden vereist
– Meeste gebruikersproblemen achterhaald!
33

34. Dus…
Usability is maatwerk!
34

35. Voor meer informatie:
Frans Appels
Marije Horbach
Netprofiler BV
Bouwerij 4e
1185 XX Amstelveen
Telefoon 020-3459488
frans@netprofiler.nl
marije@netprofiler.n
www.netprofiler.nl
35