Web Analytics Day bvh Multivariates Testen (2010-10-26)

Konversionsrate steigern
durch Multivariates Testing
Claudia Strauch
Senior Web Analytics Consultant
contentmetrics GmbH
claudia.strauch@contentmetrics.de

Copyright © 2010, contentmetrics GmbH, Haar, Hamburg
Das Unternehmen contentmetrics
• contentmetrics ist Spezialist für
 Auswahl und Integration von Web Analytics Lösungen
 Auswertung von Web Analytics Daten mit den Zielen:
 Effizienzsteigerung von Online-Marketing-Kampagnen
 Betriebswirtschaftliche Auswertung von Online Aktivitäten
• 2003 als inhabergeführtes Dienstleistungs- und Beratungshaus gegründet
 Standorte sind Haar bei München und Hamburg
 Derzeit sind 11 Consultants und insg. 14 Mitarbeiter
für contentmetrics tätig
• Wir betreuen ca. 70 aktive Kunden mit Reichweiten
von 1 Million bis > 2 Milliarden Page Views im Monat

Unabhängige & neutrale Beratung
• Wir arbeiten als Dienstleister im Auftrag unserer Kunden:
 Systemauswahl
 Anpassung von bestehenden Lösungen
 Dokumentation von Anforderungen und technischer Umsetzung
 Kontinuierliche Betreuung
 Analyse und Handlungsempfehlung
 1st
-Level Support
 Implementierung und Qualitätssicherung
• Wir sind zertifizierter Partner für Consulting, Support
und Implementierung:
 Strategische Partnerschaft mit Autonomy
 Coremetrics Support DACH
 Strategische Partnerschaft mit Econda
 Omniture Professional Service Provider
 Beratungspartner für Search Analytics – Searchmetrics
 Exklusiver Vertrieb von Vertster DACH
 Webtrekk Implementation Partner

Einige Kunden ...
Retail Social Media
High Tech
Media
eCommerce Travel
Agencies
Finance

Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13
Agenda
• Testing Grundlagen
• Unterschied multivariater Test und A/B-Test
• Taguchi
• Bedingungen für multivariate Tests
• Der Testplan
 Mögliche Thesen
 Test- und Messzeitraum
 Abbruchbedingungen
 Metriken und KPI
 Segmente
• Auswertung
• Signifikanz

Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13
Testing Grundlagen - Warum Testing?
• … zur Überprüfung von Hypothesen
⇒ nicht mehr schätzen, sondern wissen!
• … zur langfristigen Optimierung der Website
⇒ aufgrund des Konversionsverhaltens der Besucher

Ein Test zum Testen
• Ein Beispiel von webanalysts.info
http://www.slideshare.net/webanalystsinfo/guess-the-outcome-of-15-ab-tests
• 15 Testszenarien mit jeweils zwei Varianten
• Ein Panel hatte die Aufgabe, die jeweils erfolgreichste Variante
herauszufinden:
 Ein Affe
 Des Autors Mutter
 Ein HiPPO (Highest Paid Person's Opinion)
 Ein Usability Experte
 Ein Art Director
 Ein Web Analyst
• Am Ende wurden für jeden die richtigen Antworten (max. 15) gezählt.

Die überraschend(st)en Ergebnisse …

Version 1 um 49% mehr Abschlüsse auf dem mittleren Angebot als Version 2

• Mama ist die Beste … ?
• Und der Affe auf Platz drei … ?
Uuups …

Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 17
Testing Grundlagen – Testgegenstand
• Ganze Seite (Page) in einer Website
 Landing-Page-Tests oder A/B-Tests
• Ein einzelnes Element auf einer Seite (Page) in einer Website
 A/B- bzw. A/N-Tests
 Es gibt verschiedene Varianten für ein Element
• Mehrere Elemente auf einer Seite (Page) in einer Website
 Multivariate Tests
 Es gibt mehrere Elemente bzw. Variablen mit jeweils mehreren Varianten

Testing Grundlagen - Vorgehen
 Jeder Besucher wird eindeutig einer Gruppe zugewiesen
 Die verschiedenen Varianten werden anhand von vorher festgelegten Metriken
(Konversionen) verglichen und bewertet.
 Umsetzen der besseren Alternative
€ Konversionsrate
Gruppe A
€ Konversionsrate
Gruppe BAlternative B
Alternative A

Testing Grundlagen - Regeln
•Innere und äußere Faktoren soweit wie möglich ausschließen
•Alle Faktoren können das Testergebnis verfälschen!
•Beispiele: Kampagnen, Änderungen an der Webseite, etc.

Testing Grundlagen - Voraussetzungen
• Valides Messsystem
• Test- und messbare Thesen
• Geeignete Alternativen
• Hinreichende Anzahl an Probanden
• Reproduzierbarer Testaufbau
• Abgrenzung aller Einflussfaktoren

Testing Grundlagen - Aufwände
• Never overstimate the underestimation ....
 Insbesondere nicht beim technischen Setup!
• Kreativität
 Haben Sie bitte vier Ideen… Jetzt.
• Planung
 Die meisten Tests scheitern nicht an der Technik oder an den
Ideen, sondern an einer nicht strukturierten und koordinierten
(!!) Umsetzung
• Konsequenz
 Wenn ein Ergebnis vorliegt, handeln Sie danach!
 Vielfach wird das Testergebnis ignoriert, weil es politisch
"unangenehm" ist
30%
20%
30%
20%

Agenda
• Taguchi
• Der Testplan
 Segmente
• Auswertung
• Signifikanz

Unterschied multivariater Test und A/B-Test (1)
• In einem A/B- bzw. A/N-Test wird ein Element
mit zwei oder mehr (N) Varianten getestet.

Unterschied multivariater Test und A/B-Test (2)
• In einem multivariaten Test (MVT) werden mehrere
Elemente mit zwei oder mehr Varianten getestet.

Unterschied multivariater Test und A/B-Test
• A/B bzw. A/N-Test: 1 Element mit 2 oder N Varianten
 Man braucht also 2 oder N Gruppen
 Das bedeutet, der Besucherstrom wird in 2 oder N Teile geteilt
• Multivariater Test (MVT): N Elemente mit 2 oder N Varianten
 Man bräuchte bei 4 Elementen und jeweils 3 Varianten
34
Gruppen = 81 Gruppen
 Das bedeutet, der Besucherstrom muss in 81 Teile geteilt
werden. Das könnte zu sehr kleinen Testgruppen und zu
nicht mehr signifikanten Ergebnissen führen.

Agenda
• Taguchi
• Der Testplan
 Segmente
• Auswertung
• Signifikanz

Taguchi
• Viele Kombinationen erfordern viel Traffic
• Die Taguchi-Methode verringert mit einer statistischen Berechnung die
Anzahl der zu testenden Kombinationen:
14.08.13 27
A/B- bzw. A/N-Test MVT (Taguchi)
4 Elemente /
3 Varianten
81 Kombinationen 9 Kombinationen im Test
5 Elemente /
4 Varianten
1024 Kombinationen 16 Kombinationen im Test
„Versuchspläne nach Taguchi sind im wesentlichen Teilfaktorpläne (engl. fractional
factorial designs), das heißt, es werden nicht alle möglichen Kombinationen von
Faktorstufen durchgespielt, sondern nur eine genau ausgewählte Teilmenge.“
(Quelle: Wikipedia, Taguchi-Methode)

Agenda
• Taguchi
• Der Testplan
 Segmente
• Auswertung
• Signifikanz

Bedingungen für multivariate Tests
• Gleiches Konversionsziel (z.B. ein Vertragsabschluss) für jedes
Element damit man es vergleichen kann
• Eine Kombination als Vergleichsgröße;
in der Regel der bisherige Seiteninhalt ("Default Content„)
• Alle anderen Ergebnisse werden damit verglichen und bewertet
14.08.13 29

Agenda
• Taguchi
• Der Testplan
 Segmente
• Auswertung
• Signifikanz

Der Testplan
 Was wird getestet?
 Warum wird getestet? / Was ist das Ziel des Tests?
 Wie lautet die These?
 Wann möchten Sie die Ergebnisse haben?
 Wann wird getestet bzw. gemessen?
 Was ist die bzw. sind die Abbruchbedingungen?
 Welche Messeinheiten und KPIs werden verwendet?
 Welche Segmente werden getestet bzw. gemessen?
 Welche Randbedingungen (Kampagnen, IT, etc.) können den Test
beeinflussen?
 Welche Abteilungen sind betroffen?
 Welche internen und externen Ressourcen werden benötigt?
 Wer aus dem Management fordert den Test an?
14.08.13 31

Mögliche Thesen
• „Das neue Design ist besser“
• „Unsere Kunden kaufen unsere Produkte aufgrund unseres technischen
Vorsprungs“
• „Wenn die E-Mailadresse ein Pflichtfeld ist, hemmt das die
Konversion“
• „Wenn bei nicht ausgefülltem E-Mailfeld eine Fehlermeldung kommt,
hemmt das die Konversion“
• „Männer klicken Frauenbilder, Frauen klicken Männerbilder“
• „Für wiederkehrende Besucher funktioniert Design A besser.“
14.08.13 32

Beispiele für mögliche Varianten
• Verschiedene Preise
• Preisnachlässe in % gegen €
• Verschiedene (Button-)Designs
• Den Content gemäß der SEM-Suchbegriffe gestalten
• Promotions in E-Mailkampagnen
• „Call to Action“ Funktionen
• Werbegeschenke (z.B. verschiedene Incentives testen)
• Radikale Vereinfachungen
• Verschiedene Texte
14.08.13 33

Fehler bei der Variantenerstellung
• Grundsatz:
Unterscheiden sich die Varianten nicht signifikant voneinander, so werden
sich auch die Testergebnisse nicht signifikant voneinander unterscheiden.
• Denken Sie radikal:
 Sie wissen nicht, was Ihre Besucher bevorzugen.
 Interne Denk- und Sichtweisen müssen nicht zwingend die der Besucher sein
 Betriebsblindheit verhindert eine optimale Zielerreichung
 Das Corporate Design folgt nicht zwingend den Regeln eines optimalen User-Interface-
Designs
 Die Erfahrung zeigt: Featuritis in der Website erfreut Vorstände und verwirrt Besucher

Testzeitraum und Messzeitraum
• Vorlauf: Gefühl für die Ergebnisse bekommen; Konversionen aus dieser Zeit
(rot) nicht mitberücksichtigen
• Testzeitraum: mindestens ein durchschnittlicher Konversionszeitraum
• Nach Testende: eine durchschnittliche Konversionszeitraumlänge messen,
dann erst auswerten; alle Konversionen aus Testzeitraum (grün)
mitberücksichtigen
14.08.13 3
Durchschnittlicher
Konversionszeitraum
Testzeitraum
Durchschnittlicher
Konversionszeitraum
Messzeitraum
Vorlauf
Durchschnittlicher
Konversionszeitraum
€
€
€€
€

Der Testplan
 Wie lautet die These?
 Wann wird getestet bzw. gemessen?
 Was ist die bzw. sind die Abbruchbedingungen?
 Welche Messeinheiten und KPIs werden verwendet?
 Welche Segmente werden getestet bzw. gemessen?
beeinflussen?
14.08.13 36

Mögliche Abbruchbedingungen
• Die Konversionsrate einer Kombination weicht zu stark nach unten von
der Vergleichsgröße ab.
• Anzahl der Registrierungen sinkt unter einen bestimmten Wert.
• Der Umsatz sinkt um X%.
⇒ Ganzen Test stoppen oder nur eine Kombination „ausschalten“
14.08.13 37

Metriken und KPI
• Registrierungen
• Vertragsabschlüsse
• Warenkorbwerte
• …
• Eine der Metriken wir als KPI festgelegt.
 Die Ausprägung dieser entscheidet über den Ausgang und die nächsten Schritte
• KPI und Metriken vor dem Test festlegen!
• Integration mit Web Analytics Tool ermöglicht später weitere Analysen
auf weiteren Metriken
14.08.13 38

Mögliche Segmente
• Zufall (keine Segmentierung)
• SEM-Traffic vs. normaler Traffic
• Adword Gruppe1 vs. Adword Gruppe2
• Produktgruppe1 (Krankenversicherung) vs. Produktgruppe5 (Kredit)
• Deutschland vs. Österreich (Geo-Segmentation)
• Registrierte vs. nicht registrierte Nutzer
• Neue vs. wiederkehrende Besucher
• Internetexplorer vs. Firefox
• Besucher an Wochentagen vs. Besucher am Wochenende
14.08.13 39

Der Testplan
 Wie lautet die These?
 Wann wird getestet bzw. gemessen?
 Was ist die bzw. sind die Abbruchbedingungen?
 Welche Messeinheiten und KPIs werden verwendet?
 Welche Segmente werden getestet bzw. gemessen?
beeinflussen?
14.08.13 40

Agenda
• Taguchi
• Der Testplan
 Segmente
• Auswertung
• Signifikanz

Auswertung
14.08.13 42
Signifikanz
Konversionsrate und
Änderung zur
Vergleichsgröße
Testteilnehmer
„Rezepte“

Agenda
• Taguchi
• Der Testplan
 Segmente
• Auswertung
• Signifikanz

Exkurs: Signifikanz
• Was bedeutet „Signifikanz“?
• Signifikanz beschreibt die Wahrscheinlichkeit, mit der das Testergebnis
reproduzierbar ist.
• Die Signifikanz errechnet sich aus der Anzahl der Testteilnehmer,
Mittelwerten und Standardabweichung.
• Deutlich höhere Abschlüsse bei einer Kombination müssen nicht gleich
signifikant sein!
14.08.13 44

Signifikanz und Relevanz
Signifikanz
Relevanz
Fokus
Irrelevant
Potential Analyse
Interessan
t für WA
Nicht alle Metriken sind relevant für die Zielerreichung.
Nicht alle Segmente sind relevant.

Vielen Dank!

Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 14.08.13 4714.08.13 47
Kontaktdaten
Claudia Strauch
claudia.strauch@contentmetrics.de
www.contentmetrics.de
Telefon +49 (0) 40 / 1804 336 – 14
Mobil +49 (0) 176 / 1021 3692
contentmetrics GmbH
Münchner Str. 25 – D-85540 Haar b. München
Telefon +49 (0) 89 / 219 65 15 - 0
PC-Fax +49 (0) 89 / 219 65 15 - 16
Spaldingstr. 218 – D-20097 Hamburg
Telefon +49 (0) 40 / 1804 336 – 0
PC-FAX +49 (0) 40 / 1804 336 – 16
Office MünchenOffice Hamburg

Web Analytics Day bvh Multivariates Testen (2010-10-26)

Recomendados

Recomendados

Más contenido relacionado

Similar a Web Analytics Day bvh Multivariates Testen (2010-10-26)

Similar a Web Analytics Day bvh Multivariates Testen (2010-10-26) (20)

Web Analytics Day bvh Multivariates Testen (2010-10-26)