Präsentation des Events "CROissants mit Optimizely" in Berlin. Lernen Sie in dieser Präsentation: - [Fallbeispiele] Wie andere Unternehmen Erfolge mit A/B Testing erreichen - Wie Sie Nutzererfahrungen durch A/B Tests personalisieren - Wie Sie mit Optimizely mobile Webseiten optimieren können - Wie Sie mobile Apps testen & optimieren können - Wie Sie neuerdings auch Cross-Channel Erfahrungen dank Optimizely verbessern Falls Sie Optimizely noch nicht nutzen, dann können Sie kostenlos einen Account erstellen: https://www.optimizely.de/ Für Fallbeispiele und Inspiration besuchen Sie am besten unser Blog: http://blog.optimizely.de/

1. A/B Testing und Mehr

2. PROGRAMM
1. Warum A/B Testing?
!
2. Ideen für Tests finden
!
3. Die Zukunft der Optimierung

3. MARIUS KREMEYER
Senior Account Executive
marius@optimizely.com

4. Dan Pete
2006:
Dan Siroker und Pete Koomen
— Product Manager bei Google
2008:
Dan — Obama Campaign
2008 - 2010:
Carrotsticks, Spreadly,
undY Combinator.
2010: Gründung von Optimizely
2012 (Okt.): 100,000th Experiment, over
1 Billion pages. #1 Website Optimization Platform
2013: $28M für Internationalisierung
100K
$28M
Unsere Geschichte
9000 Glückliche Kunden
$57M 2014: $57M für weitere Expansion

5. 1. Warum A/B Testing?

6. 92:1
92$ werden für Trafficakquise ausgegeben, nur 1$ für die Optimierung
* IBM TeaLeaf, 2012

7. 1994
Seit wann testet Amazon seine Webseite?

8. 10 - 20
Quelle: http://meta.wikimedia.org/wiki/Fundraising_2012/report
Wie viele A/B Tests macht Wikipedia pro Tag?

10. RICHARD FEYNMAN
“During the Middle Ages there were all kinds of crazy ideas, such as
that a piece of rhinoceros horn would increase potency. Then a
method was discovered for separating ideas […]
And it developed very well, so that we are now in a scientific age.”

11. RICHARD FEYNMAN
“But even today I meet lots of people who sooner or
later get me into a conversation about UFOs, or
astrology, […] and so forth.
!
And I’ve concluded that it’s not a scientific world.”

12. JOHN OHRINGER - CEO SHUTTERSTOCK

13. “Nothing goes live on Shutterstock without Testing.”
!

14. JEFF BEZOS - CEO AMAZON

15. “Experiments are by their very nature prone to failure.
But a few big successes compensate for dozens and
dozens of things that didn’t work.”
!

16. ALLES HINTERFRAGEN!

17. BEISPIEL 1: CHROME INDUSTRIES
!
!
!
Performen Bilder oder Videos auf Kategorieseiten besser?

19. + 0,2% Conversions

20. Obwohl Chrome Industries 0,2% Uplift erzielte, so war dies allerdings
zu wenig, um eine Investition in Videos für jede Kategorieseite zu
rechtfertigen. Videos sind um einiges teurer als Produktbilder. A/B Tests
halfen dem Team von Chrome Industries dabei Geld zu sparen.
!
ERGEBNIS

21. BEISPIEL 2: SIM CITY
!
!
!
Wie erhöhen wir die Anzahl der Vorbestellungen für das Spiel Sim
City?

22. + 43% Conversions

23. Electronic Arts fand durch einen A/B Test heraus, dass Besucher, die
das Spiel Sim City vorbestellen wollten, nicht durch einen 20$ Discount
auf den nächsten Einkauf motiviert wurden. Alles was sie wollten, war
das Spiel so schnell wie möglich zu haben. Daher funktionierte die
Variante ohne Banner so viel besser als das Original.
!
ERGEBNIS

24. BEISPIEL 3: MAGINE
!
!
!
Wie können wir die Anzahl der Abonnenten erhöhen?

25. - 2% Klicks
+ 9% Abonnenten

26. Magine fand durch diesen Test heraus, dass die Variante mit mehr Infos
über die nächsten Schritte zwar weniger Klicks, dafür aber mehr
Abonnenten erzielte. Besucher waren sich besser bewusst, was sie
erwarten würde und dadurch entschieden sich mehr, den
Anmeldeprozess abzuschließen.
!
ERGEBNIS

27. BEISPIEL 4: HOME24
!
!
!
Wie können wir die Nutzung der Suche und somit Bestellungen
steigern?

28. + 9% Suchnutzung
+ 5% Bestellungen pro Session

29. Home24 fand durch diesen Test von 3 Varianten des Headers heraus,
dass eine gestraffte Variante mit hellen Farben zu gesteigerter Nutzung
der Suche führte. Dies hatte außerdem einen Uplift an Bestellungen pro
Session zur Folge.
!
ERGEBNIS

30. 2. Ideen für Tests finden

31. OPTIMIERUNGSZYKLUS
Ergebnisse!
Analyse!
Hypothesen!
Priorisierung!
A/BTest!

32. ABER WO FANGE ICH AN?

33. ANALYTICS

34. ANALYTICS
Visits
Sign-Ups
$ per!
Recipient
Visitors!
per Day
Email $$

35. ANALYTICS
Visits
Sign-Ups
$ per!
Recipient
Visitors!
per Day
Email $$

36. TICKETS / FRAGEN

37. NUTZER TESTS / USER-TESTS

38. HEATMAPS / EYETRACKING
Quelle: ClickTale, Eyequant

39. WETTBEWERBERANALYSE
1. Welche Webseiten nutzen Sie gerne?
!
2. Was sind Ihre direkten Wettbewerber?
!
3. Was funktioniert in anderen Branchen /
Kategorien besonders gut?

40. 3. Die Zukunft der Optimierung

41. MOBILE EATS THE WORLD
Quelle: ComScore

43. SCHLECHTE MOBILE-ERFAHRUNGEN
Quelle: Smashingmagazine, 2013

44. It’s about people, not devices

47. Optimizely ist für A/B
Testing von Webseiten…
!

48. …UND AUCH FÜR:
• Personalisierungskampagnen
• Segmentierung von Besuchergruppen
• Agile Entwicklung & Deployments
• Optimierung mobiler Webseiten
• Optimierung von Apps in iOS & Android
• Cross-Channel Optimierung

49. PERSONALISIERUNG MIT COOKIES

50. HYPOTHESE
Wenn: Wir Personen, die sich noch kein Konto
erstellt haben, jeweils eine Person des
anderen Geschlechts zeigen
Dann:!! Erhöhen wir die Anzahl der Anmeldungen
Weil:! ! Nutzer fühlen sich persönlich angesprochen.

51. ORIGINAL!
!

52. VARIANTE IN OPTIMIZELY ANLEGEN!
!

53. AUDIENCE IN OPTIMIZELY ANLEGEN!
!

54. PERSONALISIERUNG MIT GEO-LOCATION

55. Wenn: Wir die Ansprache auf die Stadt beziehen
Dann:! Werden mehr Besucher einen Termin
bei der Parfümerie in ihrer Nähe buchen
Weil: Nutzer sich persönlich angesprochen
fühlen
HYPOTHESE

56. ORIGINAL!
!

57. AUDIENCE ANLEGEN - LOCATION!
!

58. VARIANTE - STADTSPEZIFISCH!
!

59. Vs.
VERGLEICH - ORIGINAL & VARIANTE B!
!

60. OPTIMIERUNG MOBILER WEBSEITEN

61. Wenn: Shop Besucher Social Log-In
beim Check-Out nutzen können
Dann: Werden mehr Besucher den Kauf
abschließen
Weil:! Nutzer Bequemlichkeit schätzen und
keinen zusätzlichen Account anlegen
müssen
HYPOTHESE

62. - Log-in Wall
!
- Kein “Social Log-in”

63. AUF DEM DESKTOP
- - Keine Log-in Wall
!
- - “Social Log-in”
möglich

64. TESTIDEE
!
1. Shoppen ohne Registrierung erlauben
2. Einloggen mit Facebook ermöglichen
3. Warum sollte ich mich registrieren?

65. Welcher Check-Out wird
besser konvertieren?

66. OPTIMIERUNG MOBILER APPS

68. BEISPIEL: FRENCH GIRLS
1 Million Downloads
Problem: User Retention
Ziel: Onboarding optimieren

69. AKTIVIERUNG NEUER USER
Aktivierung bei French Girls:
!
Selfie aufnehmen!
Selfie zeichnen!
!
Activation Rate: 25%

71. + 100% Uplift in Nutzeraktivierung

72. CROSS-CHANNEL OPTIMIERUNG

73. STEFAN KAUFT SCHUHE
• Shoppt in der Zalando App im Zug auf
dem Weg nach hause, wird dabei aber
unterbrochen
• Sitzt auf dem Sofa und sieht einen
Zalando Spot, googelt Zalando auf
dem Smartphone
• Verlässt das Sofa und schließt den
Einkauf auf dem Desktop ab

74. TANJA BUCHT EINEN FLUG
• Kriegt eine Einladung zum Geburtstag auf
der Facebook App – wechselt in die
Lufthansa App und schaut wie teuer ein
Flug ist
• Zu hause angekommen, vergleicht Preise
auf anderen Webseiten und bucht dann
direkt auf der Lufthansa Desktop Webseite
• Erhält Erinnerung für Check-Inn als Push
Notification 24 Stunden vor Flug

75. SZENARIO
• Kunde loggt sich bei mir ein, z.B. via Social Log-In
• Analytics- und Optimierungsplattform nutzt Universal User ID für
Cross-Channel Tracking (aber ohne die Identität des Nutzers zu
verraten)

76. WIE FUNKTIONIERT DAS GENAU?
• Customer loggt sich via Facebook ein.
• Tracking Call zur Analytics- und Optimierungsplattform:
!
!
• Erstellen Sie Cross-channel Reports - Wann und wie wechseln User
Kanäle?
• Halten Sie die Erfahrungen über verschiedene Kanäle konsistent. Fahren
Sie A/B Tests in Apps und für Webseiten für denselben User
• Learnings nutzen, um neue Features zu bauen

77. BEISPIEL: HIPMUNK
Letzte Suche als
Default, wenn
man Endgerät
wechselt

78. BEISPIEL: GILT
Abbruchrate
durch Push-
Notifications
senken

80. Data
Sie Ihre Besucher
Action

81. LEARNINGS
1. A/B Testing - Alles Hinterfragen!
!
2. Mit Sinn und Verstand Testen
!
3. A/B Testing für Web ist gut, aber nicht alles!

82. Vielen Dank
marius@optimizely.com
@OPTIMIZELY