2. … a jak to určitě nedělat
Jak nastartovat program optimalizace webu | www.optimics.cz 2
3. Kritika A/B testování
Testujeme náhodné věci, nikoliv hypotézy
Testujeme na všech návštěvnících, nikoliv na
konkrétních segmentech návštěvníků
Testujeme věci, které nemají reálnou hodnotu
pro zákazníka ani pro business
Jak nastartovat program optimalizace webu | www.optimics.cz 3
První test často nepřinese nic zásadního a testování je organizací
na další období zamítnuto jako neefektivní metoda.
4. Jak ještě zvětšíte a zvýrazníte tlačítka?
A když bude celý web jedno velké tlačítko,
pomůže to businessu?
Jak nastartovat program optimalizace webu | www.optimics.cz 4
10. 1) Něco jsme implementovali bez testu
Často u nové zakázky hned vidíme mnoho
věcí, u kterých jsme můžeme téměř s 100%
jistotou tvrdit, že povedou ke zlepšení
Implementovali jsme mnoho změn napřímo v
krátkém čase (na celý projekt jsme měli asi
měsíc – do WebExpo 2009)
Zlepšení (lift) jsme mohli odvozovat pouze ze
změny dlouhodobého trendu
Jak nastartovat program optimalizace webu | www.optimics.cz 10
11. 2) Připravili jsme obrovský MV test
Původně jsme chtěli testovat mnohem více
elementů na homepage
V Google Website Optimizer (full factorial
model) by ten test běžel snad 200 dnů
Test jsme proto
museli ořezat
Jak nastartovat program optimalizace webu | www.optimics.cz 11
12. 3) Testovali jsme bezvýznamné věci
Udělali jsme mnoho změn mimo test, které
přinesli fantastický výsledek
– Větší fokus na trial + schování free verze
– Mnohem méně komplikací při registraci
– Více prostoru pro produktové benefity a nezávislé
hodnocení
Zpětně si myslím, že testování barvy tlačítka
není podstatné (jiná barva nepřináší žádnou
dodatečnou hodnotu nebo užitek)
Jak nastartovat program optimalizace webu | www.optimics.cz 12
13. Co tedy testovat?
Jeden ukázkový framework:
Jak nastartovat program optimalizace webu | www.optimics.cz 13
14. Př. Jak zhoršit(!) noviny?
Jak nastartovat program optimalizace webu | www.optimics.cz 14
15. 4) Hodnotili jsme jen jedinou metriku
Zvýšili jsme počet leadů z webu, ale zvýšili jsme
zisk? Můžeme jen hádat, protože nevíme, které
leady vedou k uzavření obchodu
Zvyšování prodeje lze často docílit poměrně
snadno (např. doprava zdarma nebo Slevomat),
ale má to dva háčky:
– zvýšení je často jen dočasné
– nevíme, zda taková akce povede k vyšší ziskovosti na
zákazníka v dlouhém období, tj. zda nový zákazník
bude opakovaně nakupovat
Jak nastartovat program optimalizace webu | www.optimics.cz 15
16. 5) Jednalo se o jednorázovou akci
Neměli jsme připravený žádný dlouhodobý
plán rozvoje, další hypotézy, které bychom
chtěli testovat
Neměli jsme tak alokované zdroje u klienta,
priorita testování klesala pod prioritu
operativy, rozvoje produktu a dalších
Bez dlouhodobého plánu snadno ztratíte
vlastní směr a podporu organizace – zejména
když první test nepřinese zvýšení o 2500%
Jak nastartovat program optimalizace webu | www.optimics.cz 16
17. Doporučení
Připravte si plán na min. 6 měsíců (budget,
zdroje, očekávání)
Připravte si hypotézy, které chcete testovat,
testujte věci, které mají přínos pro zákazníka
Prioritizujte, postupujte v iteracích,
dokumentujte každý test
Začněte v malém, učte se z výsledků předchozích
testů
Vyhodnocujte změny v dlouhém období, zejména
se zaměřte na hodnotu a ziskovost zákazníka
Jak nastartovat program optimalizace webu | www.optimics.cz 17
Úspěch nelze replikovat, unikátní business, rozdíl mezi best practice a optimalizaci. Naopak na neúspěšných postupech lze demonstrovat co určitě nikdy nedělat, je to tedy mnohem univerzálnější rada.