Diese Präsentation wurde auf der Optimizely Experience München am 15.10.2015 von Jan Mikulica (Holidaycheck) gehalten. Sie werden in dieser Präsentation lernen: - Wie Sie das richtige Optimierungsteam für Ihr Unternehmen aufstellen - Wie Sie gewinnbringende Hypothesen für A/B Tests entwickeln - Wie Sie Ideen für die Online-Optimierung priorisieren - Wie Sie A/B Tests mit Optimizely auswerten - Wie Sie Testergebnisse dokumentieren und kommunizieren Mehr Fallbeispiele und Best Practices rund um die Themen Testing, Optimierung und Personalisierung finden Sie unter: https://blog.optimizely.de/category/fallstudien/ Sie können sich hier einen kostenlosen Optimizely Account erstellen: https://www.optimizely.com/de/

1. #optex2015
Management & Priorisierung
Der Testing Alltag – von der Idee bis zur Auswertung
Jan Mikulica
UX Research & User Insights Manager
@HolidayCheck
jan.mikulica@holidaycheck.com

2. #optex2015
Hi. Ich bin Jan,
UX Research &
User Insights Manager @

3. #optex2015
2003 gegründet
Seit 2006 Teil der Tomorrow Focus AG
Teams über EU verteilt
Breite Produktpalette
Über 180 M Pageviews / 20 M visits pro Monat

4. #optex2015
Unser Test-Bordpersonal

5. #optex2015
AB@HC
Research Manager Web Analyst Web Analyst Data Scientist

6. #optex2015
AB@HC
Research Manager Web Analyst Web Analyst Data Scientist

7. #optex2015
AB@HC
Research Manager Web Analyst Web Analyst Data Scientist
VS
Center of Excellence

8. #optex2015
Viele Teams = Viele Skilllevel

9. #optex2015
Zahlen & Menschen
Schweizer Parlamentswahlen

10. #optex2015
Zahlen & Menschen

11. #optex2015
Zahlen & Menschen
Brian Haemorrhage
Jane Superbrain

12. #optex2015
Zahlen & Menschen
Brian Haemorrhage
Jane Superbrain

13. #optex2015
Infrastruktur & Consulting

14. #optex2015
Hypothesen & Ziele
„Ich glaube, den Header zu
ndern macht meine Seite
besser“
• blau anmalen wird den Revenue erhöhen?
• blau anmalen wird den Klick auf „jetzt
bewerten“ erhöhen?
• rot anmalen wird den Revenue erhöhen?
• entfernen wird den Klick auf „jetzt bewerten“
erhöhen?

15. #optex2015
Evolution vs. Revolution

16. #optex2015
Simultanes Testen
• Experimente auf derselben Seite
• Experimente im selben Funnel / Flow
• Multivariate Experimente

17. #optex2015
Simultanes Testen
• Experimente auf derselben Seite
• Experimente im selben Funnel / Flow
• Multivariate Experimente

18. #optex2015
Statistik Basics

19. #optex2015
Statistik Basics
Alphafehler Kummulierung  𝑝 =
α
𝑛

20. #optex2015
Nicht signifikant – komplett einpacken?
Testen
Auswerten
(Re)Priorisieren
Design & Dev

21. #optex2015
Inspiration

22. #optex2015
Inspirationsquellen

23. #optex2015
Inspirationsquellen
random dude
random
Biergarten

24. #optex2015
Inspirationsquellen

25. #optex2015
Inspirationsquellen

26. #optex2015
Inspirationsquellen

27. #optex2015
Inspirationsquellen

28. #optex2015
Inspirationsquellen

29. #optex2015
„Heute nehme ich den
klassischen multivariaten“

30. #optex2015
Testtemplate

31. #optex2015
Testtemplate

32. #optex2015
Testtemplate

33. #optex2015
Priorisierung

34. #optex2015
Priorisierung

35. #optex2015
60 second business case
Koordination Kreativität Entwicklung Rollout
Strategie?
Revenue
impact
CX Value Kostensenkung PM Prio
Aufwand
Business
Value
Gewichtung der Faktoren  Berechnung eines Scores

36. #optex2015
Es gibt für alles eine App

37. #optex2015
Berechnung eines Scores

38. #optex2015
Berechnung eines Scores

39. #optex2015
Überwachung von Testaktivitäten

40. #optex2015
Auswertung

41. #optex2015
…aber man sieht eine klare Tendenz…
Nicht Signifikant?

42. #optex2015
…aber man sieht eine klare Tendenz…
Nicht Signifikant?

43. #optex2015
Optimizely Results Page - Advanced

44. #optex2015
Optimizely Results Page - Advanced

45. #optex2015
Kommunikation

46. #optex2015
Archiv

47. #optex2015
Rundmail

48. #optex2015
• Kenne Deine Goals, Probleme und Hypothesen
• „Großes“ Testen ist erlaubt
• Arbeite an Deinem Backlog & Priorisierungsmodell
• Segmentiere Deinen Traffic
• Keine Angst vor gleichzeitigem Testen
• Nutze testfreie Zeit
• 100%ige Sicherheit gibt es nicht
Key Takeaways

49. #optex2015
DANKESCHÖN!
jan.mikulica@holidaycheck.com