Device agnostic research sex drugs politics

Sex, Drogen und Politik
Device Agnostic Research im mobilen Zeitalter
Vortrag Research & Results, München 23. Oktober 2013
Prof. Dr. Holger Lütters | holger.luetters@htw-berlin.de | twitter.com/borschtsch

Kernfrage: Erzeugt die Verwendung von Mobilgeräten zur
Marktforschungsbefragung andere Ergebnisse?
Grundsatzfrage für die Marktforschung: Sind mobile Geräte eine
eigene Kategorie von Befragung, oder kann man mobile Erhebungen zum
Kanon des Online-Marktforschungsinterviews zählen?
These: Mobil antwortet der Mensch auf heikle Fragen anders
Umsetzung der Studie:


Studie mit 4 Geräteklassen, zur Untersuchung von
Antworteffekten (Desktop, Laptop, Tablet und Smartphone)



Befragung von Dingen, die man tunlichst nicht befragen sollte



Explizit provokante Fragen zur Überprüfung devianten
Antwortverhaltens in unterschiedlichen (mobilen) Situationen
(Zu Hause, bei der Arbeit, unterwegs…)



Themenwahl Sex, Drogen und Politik in der Reihenfolge Politik, Sex

und Drogen zur langsamen Annäherung an die „heiklen“ Fragen
Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013

2

Device Agnostic Research

0
Befragungen auf unterschiedlichen Endgeräten ohne
Installation von Zusatzsoftware

Device Agnostic Research:
Forschung ohne an Geräte glauben zu müssen


Erhebungen auf iOS-Geräten ergeben z.T. andere Ergebnisse als
bspw. auf Android-Geräten (z.B. bei Preisbereitschaft)



Idee: Die Studie muss auf jedem Teilnehmergerät in adäquater
Qualität funktionsfähig sein, ohne dass eine zusätzliche Software
(Flash, Silverlight oder App) installiert werden muss.



Der Fragebogen wird nicht im Hinblick auf eine Geräteklasse
optimiert, sondern soll auf allen Geräten funktionieren



Je nach Gerät sollen sich bestimmte Funktionen automatisch
ein/ausschalten und eine angenehme UX ermöglichen



Die Studie soll das Verhalten der Nutzer erheben und auf Effekte in
den Response-Daten und Antwortdaten ermitteln.
Die konkreten Antworten stehen nicht im Mittelpunkt, sondern
lediglich die Unterschiede der Antworten in Abhängigkeit der Geräte


4

Durchführung der Studie

1
Repräsentativstudie der HTW Berlin mit
Unterstützung durch Panelbiz Berlin

Studie mit vier technischen Routen mit identischem
Inhalt zu drei „heiklen“ Themenkreisen
VIER DEVICE-VARIANTEN
Device1:
Desktop

Device 2:
Laptop

Device 3:
Tablet

Device 4:
Smartphone

THEMEN:
Politik

Sexualverhalten

Drogen


6

10-minütige deutschlandweite Repräsentativbefragung
Feldbericht

Deutschlandweite
Repräsentativbefragung durch
Panelbiz.com mit SaaS Tool questfox®


7

Nicht reaktive Ergebnisunterschiede

2
- Geräte und Nutzertypologien
- Zeit zur Beantwortung der Befragung
- Drop-out Betrachtung
- Konsistenzüberprüfung im Analytic Hierarchy Process Verfahren

Auch Mobilgeräte werden in den eigenen vier Wänden genutzt.
Nur das Smartphone ist wirklich mehrheitlich mobil

Zu Hause (n=513)

Nicht zu Hause (n=149)

n=662 vollständige Interviews

10

Der Laptop wird verstärkt von Frauen eingesetzt
Desktop ist ein männlicher Device
Mobilgeräte kaum Unterschiede

41,1%
(n=44)

59,3%
(n=70)

48,3%
(n=101)

51,3%
(n=117)

58,9%
(n=63)

40,7%
(n=48)

51,7%
(n=108)

48,7%
(n=111)


11

Desktop User sind im Schnitt älter
Das Smartphone wird eher von Jüngeren genutzt
Das Tablet erst ab einem gewissen Alter

42,02
(n=107)

38,86
(n=118)

39,04
(n=209)

30,89
(n=228)

Alter


12

Die unterschiedlichen Devices erzeugen unterschiedliche
Response Rates und Antwortzeiten

Mean:
607 Sekunden
Median: 485 Sekunden

Gesamte Studie (alle Geräte)
Mittelwert (MEAN) 767 Sekunden=12,8 Minuten
Median 621 Sekunden=10,35 Minuten

Mean: 619 Sekunden
(1,9% länger als Desktop)
(9% länger als Desktop)

Mean: 755 Sekunden
Mean: 929 Sekunden
Basis: n=662 vollständige Teilnehmer

14

Die mit 10 Minuten Dauer angegebene Befragung wurde in einer
gefühlten Einschätzung nicht als länger bewertet
(auch wenn es länger war)
„Kann
ich
nicht
sagen“

2,71

2,83

2,98

3,45

6,5%

8,5%

Echte Dauer
Schätzung
8,08 Minuten*
8,10 Minuten
8,88 Minuten*
8,26 Minuten

5,8%

10,51 Minuten*
8,61 Minuten

4,7%

12,7 Minuten*
10,55 Minuten


• tatsächliche Antwortzeit (Median) aller Teilnehmer der Gruppe
• Schätzung der benötigten Zeit

15

Das Smartphone hat 36% mehr Zeit benötigt als der Desktop
Aber: Mobile Befragungen fühlen sich kürzer an als sie sind
Echte Zeit
MEDIAN
in Sek.

G1
G2

G3

G4

Vergleich
der
Devices

Abfrage:
Gefühlte Zeit
in Sek.*

Vergleich der
Devices

Gefühlte Zeit
in Relation zu
tatsächlicher
Zeit (Median)

485

=100%

486

=100%

0%

533

+9%

495

+2%

-7%

631

+23%

516

+6%

-17%

763

+36%

633

+24%

-12%

Vorgabe 10 Minuten für Interview
* Die Abfrage der Zeit erfolgte in Minutenschritten

16

Drop-out Raten der Mobilgeräte erheblich höher
Smartphone erzeugt den höchsten Drop-out
Drop-out:
22,7%

Drop-out:
14,9%
Drop-out:
8,5%

Drop-out:
9,4%

n=107
113 mögliche Interviews

n=118
n=209
123 mögliche Interviews 264 mögliche Interviews

n=228
330 mögliche Interviews

Basis: n=663 Teilnehmer (Completion Rate nach Screenouts/Quota-Full)

18

Die Abbruchquote bei mobilen Geräten bleibt während des
Interviews konstant erhöht gegenüber Desktop und Laptop
20%
18%
16%
14%
12%
10%
8%
6%

4%
2%
0%
Q11 Q12 Q13 Q14 Q15 Q16 Q17 Q18 Q19 Q20 Q21 Q22 Q23 Q24 Q25 Q26 Q27 Q28 Q29 Q30 Q31 Q32 Q33 Q34

Basis: 2273 Responses in 4 Gerätekategorien
Betrachtung ab Qualifikation für das Interview (Post Screener Phase ab Q11)

19

Konsistenzmessung nach Analytic Hierarchy Process in der
Messung im Paarvergleich


21

In der Paarvergleichsbefragung keine wesentlichen
Unterschiede zwischen den Geräteklassen.

Desktop

Laptop

Tablet

Drogenmissbrauch 0,33

0,32

0,31

0,29

Gewaltprävention

0,37

0,33

0,32

0,33

Liebe & Sexualität

0,14

0,17

0,17

0,19

Politik

0,16

0,18

0,2

0,19

117

204

211

n 107


Smartphone

22

Der Qualitätsindikator Konsistenz fällt bei den mobilen
Geräten überraschend positiv aus. Bei Tablets am besten

PC

Laptop

Tablet

sehr konsistent

16,80%

22,90%

26,30%

23,20%

konsistent

23,40%

22,00%

20,60%

18,90%

weniger konsistent

47,40%

44,10%

34,90%

38,20%

inkonsistent

11,20%

6,80%

10,00%

11,00%

extrem inkonsistent

0,90%

0,00%

1,40%

0,90%

Basis

n=107

n=118

n=209

n=228

1. Rating

0,272

0,236

0,219

0,255

2. Rating

0,281

0,236

0,253

0,266

Basis n=662; Konsistenzmessung im Analytic Hierarchy Process; Keine Wiederholung inkonsistenter Paarvergleiche
Gemessen wurde die Konsistenz in zwei verschiedenen AHP Decision Trees (1. Rating; 2. Rating) ohne warm-up
Je höher der Wert, desto inkonsistenter das Antwortmuster; Klassische Grenze nach Saaty: < 0,1;

23

Alle Varianten erzeugen gute Konsistenzwerte
Standardinstrument PC erzeugt die schlechtesten Werte

Desktop

Laptop

Tablet

Smartphone

1. Rating: 0,272
2. Rating: 0,281

1. Rating: 0,236
2. Rating: 0,236

1. Rating: 0,219
2. Rating: 0,253

1. Rating: 0,255
2. Rating: 0,266

n=107

n=118

n=209

n=228

Basis n=662; Konsistenzmessung im Analytic Hierarchy Process; Keine Wiederholung inkonsistenter Paarvergleiche
Gemessen wurde die Konsistenz in zwei verschiedenen AHP Decision Trees (1. Rating; 2. Rating) ohne warm-up
Je höher der Wert, desto inkonsistenter das Antwortmuster; Klassische Grenze nach Thomas L. Saaty: < 0,1;


24

Zusammenfassung
Nicht-reaktive Effekte des Einsatzes mobiler Geräte


Mobile Geräte sind technisch vergleichsweise einfach einzubinden,
erhöhen aber die Abbruchquote erheblich



Smartphone-Nutzung zur Marktforschung scheint zu nerven und
hebt die Abbrecherquote auf ein noch höheres Niveau



Antwortverhalten von Laptop näher am Tablet als am Desktop



Konsistenzwerte der Messung auf mobilen Geräten besser im
Vergleich zu Desktop/Laptop



Zeit ist ein extrem subjektiver Begriff, der nicht immer durch die
Realität abgebildet wird


25

Reaktive Ergebnisunterschiede

3
Politik
Sexualität
Drogen

Die Antworten auf die Fragen nach der politischen
Einordnung fallen nur auf dem Desktop anders aus
Links

Rechts

2,69

3,09

3,15

3,22


28

Eine Empfehlungsfrage unter Nutzung des NPS erzeugt - je
nach Device - starke Unterschiede

Frage: Würden Sie die Regierung der Bundesrepublik Deutschland weiterempfehlen?

Gruppe

NPS Wert

Gesamt

-57,73

Desktop

-71,03

Laptop

-66,68

Tablet

-52,65

Smartphone

-50,95

n= 641
Der Net Promoter Score gibt an, wie viel Prozent in Bezug auf die Fragestellung eine Weiterempfehlung
aussprechen würden. Formel: % der Antworten 9 und 10 minus % der Antworten 0-6; Je höher der Score,
desto höher der Netto-Empfehler-Score

29

Die heikle Frage nach Fremdgehen wird auf allen Geräten
vergleichbar beantwortet


31

Die Frage nach Selbstbefriedigung ergibt nur geringe
Unterschiede im Antwortverhalten (Laptop ragt heraus)


32

Bei der Anzahl der Sexualpartner fallen die
Desktopantworten aus dem Antwortschema


33

Drei Paarvergleichsfragen zur Nutzung von Kondomen
weist keine wesentlichen Abweichungen auf

Messung nach dem Analytic Hierarchy Process Verfahren nach Saaty


34

Die Frage der Weiterempfehlung wurde auch auf die
persönliche Beziehung angewendet. Wieder starke
Unterschiede bei Verwendung der NPS Methode
Frage: Wie sicher würden Sie gerne nochmals
mit dem selben Partner eine Beziehung eingehen wollen?

Gruppe

NPS Wert

Gesamt

+ 38,77

Desktop

+ 46,68

Laptop

+ 19,98

Tablet

+ 37,58

Smartphone

+ 47,09

n= 485 (nur Menschen, die in einer Beziehung leben)
Der Net Promoter Score gibt an, wie viel Prozent in Bezug auf die Fragestellung eine Weiterempfehlung
aussprechen würden. Formel: % der Antworten 9 und 10 minus % der Antworten 0-6; Je höher der Score,
desto höher der Netto-Empfehler-Score

35

Die Zielgruppe bewertet die Einschätzung der Illegalität
einer Droge im Mittel gleich

3,33

2,52

2,87

2,87


37

Smartphone User geben an, seltener illegale Drogen
konsumiert zu haben


38

Bei der Projektivfrage des Drogenkonsums im Umfeld
kaum Antwortunterschiede


39

Keine signifikanten Antwortunterschiede bei den heiklen
Detailfragen nach dem Drogenkonsum

Marginale Abweichungen

 Desktop Respondenten rauchen mehr
 Smartphone Respondenten trinken
mehr Energy Drinks
 Laptop Respondenten nehmen mehr
Medikamente
 Keiner dieser Unterschiede statistisch
signifikant


40

KEINE Unterschiede in den Daten zwischen Antworten zu
Hause und außerhalb


41

Bewertung des Fragebogens

Bewertung des Fragebogens
- Verständlichkeit
- Gefallen der Befragung
- Weiterempfehlungsabsicht (NPS)

Die Device Agnostische Befragung wird auf Mobilgeräten
etwas schlechter bewertet.
Erstaunlich: Tablet schlechter als Smartphone

8,24

8,16

7,45

7,47


43

Abermals erzeugt die NPS Methode andere Antworten auf
den unterschiedlichen Geräteklassen

Frage: Wie wahrscheinlich ist es, dass Sie diese Befragung Dritten weiterempfehlen?

Gruppe

NPS Wert

Gesamt

+ 29,50

Desktop

+ 46,74

Laptop

+ 32,49

Tablet

+ 23,08

Smartphone

+ 25,46

n= 664
Der Net Promoter Score gibt an, wie viel Prozent die Erhebung weiterempfehlen würden. Formel: % der
Antworten 9 und 10 minus % der Antworten 0-6; Je höher der Score, desto höher der Netto-EmpfehlerScore; Vergleichswert: Avatarstudie 2012 NPS im Schnitt 22%

44

Das offene Feedback war aber insgesamt (sehr) positiv

Tagcloud auf Basis der Antworten von n=662 Kandidaten

45

Kleines technisches Nebenproblem bei offenen Antworten
Autocomplete Funktion als Problem der mobilen Befragung
Offene Antworten in der Studie

Die Idee, dass
Großkonzerne zu
benutzen finde ich sehr
interessant.

Die ewige
Geschlechtsabfrage war
ziemlich nervig.

http://www.autocompletefail.de

46

Interpretation der Erkenntnisse

4
Fazit Mobile Interviews in der Marktforschung

Die vorgefundenen Ergebnisunterschiede tangieren
verschiedene Dimensionen


Keine Effekte auf Daten bei Standardfragen



Vorsicht bei besonderen Methoden (AHP identische Ergebnisse;
NPS völlig unterschiedliche Ergebnisse)



Mobileffekte eher umgekehrt als vermutet (offenere Antworten
auf heikle Fragen außerhalb des Hauses)



Keine erkennbar positiven Erkenntnisse in Bezug auf
Teilnahmebereitschaft, Gefallen der Studie etc.
Die Studie wurde für die (erfahrenen) Umfrageteilnehmer nicht
signifikant attraktiver



Mobile Geräte benötigen längere Antwortzeiten (Smartphone
+36%; Tablet +23%) und verursachen daher höhere Kosten der
Incentivierung als die Desktopversion. Aber: Mobile Befragungen
fühlen sich kürzer an als sie sind



Abweichungen bei Desktop/Tablet sind eher erklärbar durch
Faktoren der Besitzer als durch die Geräte selbst. Aber auch
Touchpad vs. Maussteuerung


48

Gesamtbetrachtung der mobilen Erhebung als Trade-off
Qualität – Kosten - Zeit

Qualität
 Kosten höher aufgrund
höherer Abbruchquoten
und Zeitbedarf
 Notwendigkeit der
höheren Incentivierung
der längeren
Interviews

Kosten

 Qualität der Messung scheint
keine Probleme zu bereiten
 Konsistenz besser als auf PC
 Neue Methoden immer nur mit
technischen Hürden
integrierbar

Zeit

 Zeitbedarf höher ohne daraus
Erkenntnisgewinn zu erzielen
 Zeitfenster der Befragung größer

49

Frage nach der Validität einer Messung bleibt offen:
Desktop/Laptop-Erhebung die reale Abbildung der Welt?


Validität klassischer Verfahren darf hinterfragt werden: Welche
Interaktionsform liefert das „wahre“ Ergebnis?

Warum sollte ein künstliches Desktop-Ambiente näher an der Realität
sein, als die mobile Erhebung vor Ort oder auf der eigenen Couch?


Drop-out Raten der Mobilgeräte erheblich höher
Smartphone erzeugt den höchsten Drop-out und längste
Antwortzeiten. Diese Effekte verursachen erhebliche Kosten



Sampling erschwert: Ein genaues Sampling der Gerätekategorie
erzeugt hohen Aufwand (=Kosten).

Zielgruppeneffekte des Sampling: Das genutzte Gerät ist keine
unabhängige Variable sondern eine Resultante aus Alter, Einkommen
und vielleicht sogar Geschlecht


50

Status Mobile Befragung 2013
Es funktioniert mit (technischen) Einschränkungen


Mobile Befragungen sind keine neue Kategorie, sondern nur eine
besondere Form der Online-Befragung mit TOUCH Funktion



Obwohl die Befragung auf Smartphones erheblich länger ausfiel,
wurde dies kaum bemängelt. Zeit ist eine Frage der
Wahrnehmung



Unterschied der Antworten zwischen den Kategorien Laptop und
Desktop überrascht mehr



Neue Problemphänomene der Wahrnehmungskonkurrenz.
Eine hübsch designte Befragung kam auf PC sehr gut an.
Die identische Befragung auf mobilen Geräten aber nur gut



Device Agnostik ist die Entwicklungsrichtung. Proprietäre
Entwicklungen (Apps) bringen uns allerdings in die Steinzeit des
Computerzeitalters zurück



Unterscheidung der Kategorien in Zukunft eher durch den
Interaktionsmodus zu erklären (TOUCH vs DEVICE MEDIATED)


51

Unser Dank gilt den Partnern, die diese Studie unterstützt haben

Durchführung

Unterstützer der Studie

Prof. Dr. Holger Lütters

www.panelbiz.com

Hochschule für Technik und Wirtschaft Berlin
Fachbereich 3
Treskowallee 8
10318 Berlin

Holger.Luetters@htw-berlin.de

www.pangealabs.com
questfox® und Gyroscale® sind eine
Entwicklung der pangea labs GmbH Schweiz
und steht in www.questfox.com zur
Verfügung


53

Device agnostic research sex drugs politics

Recomendados

Recomendados

Más contenido relacionado

Destacado

Destacado (8)

Device agnostic research sex drugs politics