Klub WebTop100 - červen 2009 - Praha 11. 6. 2009

1. Testování použitelnosti
webových stránek v T-Mobile
Případová studie eShopu
Author / Presentation title 08/29/2007 1

2. Metody měření webových stránek T-Mobile
 KPI’s (Key Performance Indicators)
 slouží k snadnému sledování
výkonnosti
 Konverzní poměr
 pravděpodobnost, že se z
návštěvníka stane „zákazník“
 Zákaznická spokojenost
 kvantitativní i kvalitativní hodnocení
webových stránek a procesů ze
strany zákazníků
 Srovnání s konkurencí
 kvalitativní měření výkonnosti oproti
konkurenci
 umožňuje reagovat na očekávání
zákazníků
Radek Mašata, eBusiness Proposition & Product Manager 11/06/2009 2

3. Zákaznická spokojenost s weby T-Mobile
 Online zpětná vazba
 základní statistika (počet návštěvníků, shlédnutých stránek apod.)
 analýza chování (Google Analytics, WebTrends, ClickTracks)
 online studie (heatmapa, dotazníková šetření)
 A/B testování
 Multi-Variant testing
 analýza chyb
 Offline zpětná vazba
 testování použitelnosti (Usability Study)
 oční kamera
 průzkum trhu
 mystery shopping
Radek Mašata, eBusiness Proposition & Product Manager 11/06/2009 3

4. Testování použitelnosti web stránek v T-Mobile
Průběžné testování Projektové testování
v T-Mobile ČR > 4 roky v T-Mobile nově od konce roku 2008
 Účel  Účel
 průběžné kvalitativní testování  prověření vybraných stránek, nového
vybraných scénářů přístupu, nových funkcionalit
 Aplikace poznatků  Aplikace poznatků
 potřeba vytvoření metriky -> možnost  akční plán změn
sledování vývoje  okamžité změny v návrhu nebo úpravy v
 návrhy implementace změn / akční plán rámci vývoje
 Náklady  Náklady
 v provozu je finančně náročnější  ve fázi návrhu webu a vývoje je aplikace
aplikovat změny na základě výsledků změn na základě výsledků testování
testů levnější
Radek Mašata, eBusiness Proposition & Product Manager 11/06/2009 4

5. 1) Průběžné testování použitelnosti v T-Mobile
 Původně 1x ročně bez metriky pro sledování změn
 omezené možnosti ověření, zda realizované úpravy pomohly
 nemožnost sledovat vývoj
 Od r. 2009 2x ročně s definovanými metrikami a jeden
mezinárodně srovnatelný KPI ukazatel
 Metriky
 úspěšnost projití scénáře, efektivita a problémy, spokojenost s
procesem
 úspěšnost podle prováděné činnosti (fáze zkoumání, formulace, akce)
 význam problémů – závažné, středně významné, méně důležité
 definice
problémové
oblasti:
Radek Mašata, eBusiness Proposition & Product Manager 11/06/2009 5

6. Průběh testování
 Definice testovacích scénářů
 typické akce v oblasti eCare + v oblasti eSales
 obdobné scénáře ve více zemích možnost srovnání
 v případě více možností dokončení scénáře identifikování preferované=ideální cesty
 Výběr participantů
 přibližně 50/50 muži a ženy
 přibližně 50/50 T-Mobile a ne T-Mobile zákazníci (T-Mobile zákazníci jen pokud používají telefon pro
soukromé použití)
 8 zákazníků s předplacenou kartou a 16 tarifních zákazníků
 používají internet > 3 hodiny týdně
 v posledních 3 letech měnili mobilní telefon
 věk: 8 x 18-24 let, 8 x 25-34 let, 8 x 35-54 let
 Testování
 účastní se relevantní zástupci T-Mobile odpovědní za korporátní web, eShop, eCare + v případně
zástupci dodavatele
 Práce s výsledky
 vypracování závěrečné zprávy (klíčová zjištění, co šlo dobře, co špatně, doporučení ke změně)
 výpočet KPI pro možnost mezinárodního srovnání a vývoje od posledního testování
 akční plán následných kroků
 definice klíčových akcí/úprav
 identifikace vlastníka
 plánu implementací (v případě potřeby sladění s firemními releasy)
Radek Mašata, eBusiness Proposition & Product Manager 11/06/2009 6

7. 2) Testování v rámci projektu - eShop T-Mobile
 Cíl testování
 ověření nového business konceptu (jednotlivé kroky nákupu, nákupní proces celkově, nákupní košík,
checkout)
 srozumitelnost terminologie
 umístění a viditelnost ovládacích prvků webu
 viditelnost nových funkcionalit a preference využití
 Scope testování
 2 kola pro vybrané scénáře, každého ze dvou kol se účastní rozdílní respondenti
 první kolo testování pro odhalení elementárních nesnází a překážek pro uživatele
 provedení úprav na základě klíčových zjištění
 druhé kolo pro porovnání úspěšnosti provedených úprav proti původnímu návrhu + odhalení dalších
problematických míst
 První kolo
 probíhalo na drátěném modelu / prototypu (omezená funkcionalita mimo testovanou oblast apod.)
 6 participantů (60 minut na test včetně interview před testem a po testu)
 výběr participantů shodný s rekruitmentem pro pravidelné testování použitelnosti
 Druhé kolo
 18 participantů (60 minut na test včetně interview před testem a po testu)
 celkem 3 scénáře, typicky 2-3 s jedním participantem
 při výběru participantů přidán parametr zkušenost s online nakupováním (9 x 1-2 krát, 9 x 3 krát a více) ->
získání srovnání s nákupními procesy na jiíných eShopech
Radek Mašata, eBusiness Proposition & Product Manager 11/06/2009 7

8. Ukázky vybraných zjištění a reakce na ně I.
Zjištění:
 lack of predictability causes
confusion in first steps of the
process
 [expert opinion] separation of
shopping and checkout process
by appearance and navigation can
contribute to this confusion
Doporučení:
 improve the progress indication
during the process
 there are 3 different progress
indicators used during the
shopping and checkout which
slows down the learning process
Radek Mašata, eBusiness Proposition & Product Manager 11/06/2009 8

9. Ukázky vybraných zjištění a reakce na ně II.
Zjištění:
 need to make 3 choices at this page is not clear to all
participants
 MMC graph is too visually intensive and attracts users
attention away from the first necessary choice
Doporučení:
 progressive disclosure –reveal one step after another
 visual separation & guidance
Radek Mašata, eBusiness Proposition & Product Manager 11/06/2009 9

10. Ukázky vybraných zjištění a reakce na ně III.
Zjištění:
 [expert opinion] upper
“proceed to checkout”
button can prevent user
from selecting delivery
option
 explanation of code field
(“Kód”) is missing and it is
understood as mandatory
field by several
participants
Doporučení:
 remove the top “proceed
to checkout” button in the
basket
 explain the “Code” (“Kód”)
field well
Radek Mašata, eBusiness Proposition & Product Manager 11/06/2009 10

11. Ukázky vybraných zjištění a reakce na ně IV.
Zjištění:
 no one noticed the upper tabs at this page
Zjištění:
 new indication of already selected add-on in non-
active add-on group was appraised by several
participants
Radek Mašata, eBusiness Proposition & Product Manager 11/06/2009 11

12. Ukázky vybraných zjištění a reakce na ně V.
Zjištění:
 some perceived main area
(carousel and banners below) as
an advertisement
 unclear and uncomfortable
rotation control
 flipping of individual cards on Doporučení:
mouse-over proved to be
confusing and frequently  redesign carousel
complained about
Radek Mašata, eBusiness Proposition & Product Manager 11/06/2009 12

13. Ukázky vybraných zjištění a reakce na ně VI.
Zjištění:
 featured phones distract users' attention when
searching for a particular handset
 users expected to see the whole selection of
handsets but instead only initially saw these 3
Doporučení:
 start the full list of phones at the top of the
phones page rather than just showing the
promotions on 3 specific phones
Radek Mašata, eBusiness Proposition & Product Manager 11/06/2009 13

14. Otázky?
Radek Mašata, eBusiness Proposition & Product Manager 11/06/2009 14

15. Děkuji vám za pozornost.
Radek Mašata
radek.masata@t-mobile.cz
Radek Mašata, eBusiness Proposition & Product Manager 11/06/2009 15