1. Wie können wir (Suchmaschinen-)Nutzer besser
verstehen?
Dirk Lewandowski
Hochschule für Angewandte Wissenschaften Hamburg

2. Suchmaschinen

3. E-Commerce

4. Site-intern und andere Datenbestände

5. Nutzer verstehen – was heißt das eigentlich?
• Die Wünsche der Nutzer an ein ideales Suchsystem kennen?
• Die Suchanfragen der Nutzer interpretieren?
• Die konkreten Probleme der Nutzer mit einem konkreten System kennen?
• Die Informationsbedürfnisse der Nutzer eines konkreten Systems kennen?
• ... ?

6. Modell der Suchmaschinen-Qualität
(Lewandowski & Höchstötter 2007, ergänzt)
• Qualität des Index
– Größe des Datenbestands, Abdeckung des Web
– Abdeckung bestimmter Bereiche (Sprachräume, Länder)
– Überschneidungen der Indices
– Aktualität des Datenbestands
• Qualität der Suchresultate
– Retrievaleffektivität
– Zuverlässigkeit der Suchergebnisse
– Zufriedenheit der Nutzer
– Überschneidungen der (Top-)Ergebnisse
• Qualität der Suchfunktionen
• Nutzerfreundlichkeit + Benutzerführung
– Aufbau der Trefferseiten

7. Modell der Suchmaschinen-Qualität
(Lewandowski & Höchstötter 2007, ergänzt)
• Qualität des Index
– Größe des Datenbestands, Abdeckung des Web
– Abdeckung bestimmter Bereiche (Sprachräume, Länder)
– Überschneidungen der Indices
– Aktualität des Datenbestands
• Qualität der Suchresultate
– Retrievaleffektivität
– Zuverlässigkeit der Suchergebnisse
– Zufriedenheit der Nutzer
– Überschneidungen der (Top-)Ergebnisse
• Qualität der Suchfunktionen
• Nutzerfreundlichkeit + Benutzerführung
– Aufbau der Trefferseiten

8. Methoden
• Logfile-Analysen
– Alle Nutzerinteraktionen in einer Suchmaschine
• Online-Umfrage
– Befragung mittels Online-Fomularen
• Retrievaltest
– Abfrage der Qualität von Suchergebnissen mittels Befragung
• Protokollbasierte Nutzerstudie
– Beobachtung analog der Logfile-Analyse, aber gezielt ausgewählte Nutzer
• Usability-Test
– Aufgabenbasierte Befragung i.d.R. im Labor; Frage nach Beurteilung und Beweggründen
• Eyetracking
– Aufzeichnung von Blickverläufen und Fixationen, Frage nach der Wahrnehmung von
Angeboten/Elementen von Webseiten

9. Logfile-Analysen
• Verständnis des Nutzerverhaltens aus den echten Interaktionen mit einer
Suchmaschine.
+ Komplette Erfassung aller Interaktionen mit der Suchmaschine, daraus in der Regel
eine große Stichprobe.
+ Gut geeignet, um einen Einblick in die Suchanfragen der Nutzer zu bekommen.
- Keine Informationen über die Nutzer.
- Keine Vergleiche möglich, da Daten nur von der eigenen Suchmaschine vorliegen.
- Kann erst eingesetzt werden, wenn ein fertiges System mit echten Nutzern vorliegt.

10. Sonderfall: Suchanfragen verstehen
• bbl
• vatikan
• stockbrot
• motonetix
• nedcom
• fußball
• drehscheibe
• frauentausch
• seelenfarben
• kachelmannwetter
• osterei
• wie ich
• wow

11. Beispiel: Navigationsorientierte Suchanfragen anhand von Klicks
bestimmen
(Lewandowski, Drechsler & von Mach, im Druck)

12. Suchanfragen im Kontext

13. Online-Umfrage
• Befragung der echten Nutzer einer Suchmaschine
+ Es lässt sich relativ schnell eine große Nutzerzahl befragen.
+ Auswertung wenig problematisch.
- Selbstselektion der Befragten.
- Es können nur Nutzer erreicht werden, keine Nichtnutzer.

14. Retrievaltest
• (Anonymisierte) Bewertung der Qualität der Ergebnisse.
+ Etablierte Methode zur Bewertung der Ergebnisqualität.
+ Möglichkeit, große Mengen von Treffern bewerten zu lassen.
+ Die Ergebnisse werden ohne Kenntnis der Suchmaschine(n) bewertet, Markeneffekte
u.ä. entfallen daher.
- Ergebnisse werden isoliert betrachtet, daher Rückschlüsse auf Ergebnismengen
problematisch.
- Suchaufgaben artifiziell, dadurch Verzerrung der Ergebnisse möglich.

15. Retrievaltest

16. Retrievaltest: Ergebnisse

17. Protokollbasierte Nutzerstudie
• Protokollierung der Interaktionen ausgewählter Nutzer mit der Suchmaschine; basiert
auf konkreten Aufgabestellungen.
+ Verbindung von echten Interaktionsdaten mit Daten über die konkreten Nutzer.
+ Vor- und Nachbefragungen möglich.
+ Erfassung problemlos möglich; Protokollierung während des Tests ist nicht störend.
- In der Regel auf eine relativ kleine Nutzerzahl beschränkt.
- Rückmeldungen werden nur über Fragebögen erfasst.

19. Usability-Test
• Bei der Bearbeitung von Aufgaben werden die Nutzer im Labor beobachtet und
befragt.
+ Gute Methode, um Probleme bei der Nutzung und Nutzerwünsche herauszufinden.
+ Möglichkeit der Nachfrage; Eingehen auf den individuellen Nutzer.
- In der Regel geringe Nutzerzahlen, da jeder Nutzer einzeln ins Labor eingeladen
werden muss.
- Verfälschung durch Laborsituation.

20. Beispiel: Beobachtung der Nutzung von Suchvorschlägen

21. Beispiel: Vergleich von anonymisierten Vorschlagssets

22. Eyetracking
• Beobachtung des Blickverhaltens während der Arbeit am Bildschirm.
+ Gute Methode, um die Platzierung von Elementen auf den Seiten zu prüfen.
- In der Regel geringe Nutzerzahlen, da jeder Nutzer einzeln ins Labor eingeladen
werden muss.
- Verfälschung durch Laborsituation.

23. xxxx
• xxxx

24. xxxx
• xxxx

25. xxxx
• xxxx

26. Methodenkombinationen

27. Methodenkombinationen
• Typische Beispiele für Grenzen der Untersuchungsmethoden:
– Der Retrievaltest ergibt, dass die Ergebnisse im Vergleich zur Konkurrenz gut
sind. Die Nutzer verwenden die Suchmaschine trotzdem nicht.
– Der Usabilitytest ergibt, dass die Qualität der Ergebnisse schlecht ist.
– Die Logfileanalyse ergibt, dass Nutzer immer wieder an einer bestimmten Stelle
in der Interaktion abbrechen.
– Das Eyetracking zeigt, dass die Drill-Down-Menüs nicht wahrgenommen werden.
à Nur durch Methodenkombination können Suchsysteme adäquat evaluiert werden.

28. Methodenkombination: Beispiele
Evaluierung und Verbesserung der
Musiksuche
• Laborstudie
– Aufgabenbasierte Usability-Tests
– Eyetracking
• Retrievaltest
à U.a. konnten Gründe für die von den
Nutzern bemängelte Ergebnisqualität
gefunden werden.

29. Methodenkombination: Beispiele
Usability-Studie zur lokalen Suche bei T-
Online
• Laborstudie
– Aufgabenbasierte Usability-Tests
– Eyetracking
• Logfile-Analyse
à U.a. konnten in der Laborstudie
aufgetretene Schwierigkeiten mit mehreren
Eingabefeldern anhand der Logfiles belegt
werden.

30. Methodenkombination: Beispiele
Interpretation von Suchanfragen
• Logfile-Analyse
• Online-Umfrage (getriggert)
à U.a. konnte gezeigt werden, dass Nutzer
Schwierigkeiten bei der Beschreibung/
Klassifizierung ihrer eigenen
Informationsbedürfnisse haben.

31. Fazit
1. Bislang keine etablierte Methodik zur Evaluierung von Suchsystemen.
2. Bei der Evaluierung von Suchsystemen sollte jeweils eine geeignete
Methodenkombination gewählt werden.
3. Evaluierung des Suchprozesses und der Suchergebnisse sind
essentiell für die Verbesserung von Suchsystemen.

32. Vielen Dank für Ihre Aufmerksamkeit
Dirk Lewandowski
dirk.lewandowski@haw-hamburg,de
http://www.bui.haw-hamburg.de/lewandowski.html