Case study z badania Eyeracking Facebooka, opublikowanego przez K2 Internet w marcu 2011. Więcej na http://www.ifixux.pl/blog/case-study-eyetracking-facebook/ ‎

1. Case study badania
Eyetracking Facebooka
Paulina Makuch
http://www.flickr.com/photos/34489786@N08/6731246141/

2. O Badaniu
W marcu 2011, K2 Internet opublikowało raport z przeprowadzonego przeze mnie badania
eyetrackingowego Facebooka. Raport został wyróżniony w międzynarodowym konkursie IAB Europe
Research Awards 2011.
O raporcie było głośno, ale odbiór okazał się różny – jedni interesowali się wynikami i gratulowali
inicjatywy, inni krytykowali, zarzucając błędy w metodyce. Jest to jedna z przyczyn, dla których
napisałam tego case’a. Szersze podsumowanie raportu znajdziecie na moim blogu.
Case study powstało, aby
 Wyjaśnić, dlaczego badanie zostało
przeprowadzone w taki sposób a nie
inny sposób i jak wyciągnęłam z niego
takie wnioski
 pokazać warsztat badacza UX –
podzielić się moimi decyzjami
metodycznymi i zachęcić innych
badaczy do dyskusji
Case study nie powstało na zlecenie K2.
Zrobiłam to wyłącznie hobbystycznie.
2

3. Co chcieliśmy zbadać
Strona główna – tablica
Przede wszystkim chcieliśmy przeprowadzić badania na prawdziwych tablicach użytkowników i
zobaczyć jak przeglądają znajdujące się tam treści. Nie interesowało nas testowanie na tablicach
spreparowanych na potrzeby badania, ponieważ istotne było realne zainteresowanie
pojawiającymi się wpisami. Za główne cele postawiliśmy sobie znalezienie odpowiedzi na pytania:
 W jaki sposób użytkownicy na co dzień przeglądają swoją tablicę?
 Jakiego rodzaju posty są chętniej i dokładniej konsumowane?
znajomych vs marek
czysto tekstowe vs atrakcyjniejsze wizualnie
 Czy marki mają realną szansę na dotarcie do swoich odbiorców przez Facebooka?
Fan pages
Przy okazji postanowiliśmy pokazać respondentom kilka fan pages. Staraliśmy się wybrać profile o
różnej tematyce, aby sprawdzić:
 Jakie treści przyciągają uwagę użytkowników poza postami?
3

4. Czego nie badaliśmy
Przy okazji chciałabym zaznaczyć, że naszym celem nie było pełne zbadanie odbioru marki na
Fecebooku. Nie mierzyliśmy wielu czynników z tym związanych, np:
 Poziomu zaangażowania użytkowników w prezentowane treści – czy video bądź link jest dla nich
ciekawy
 Ukrywania czy usuwania marek ze znajomych
 Odwiedzalności fan page’a
Naszym celem nie było również zbadanie zauważalności reklam. Gdyby tak było, procedura
badania wyglądałaby inaczej. Stawialibyśmy wtedy na swobodę chodzenia po „całym Facebooku”, a
następnie analizowali na ile reklamy są zauważane na różnych stronach, w czasie wykonywania
różnych czynności – przeglądania zdjęć, wydarzeń, grup, profili znajomych, fan pages itd.
W naszym badaniu wnioskowaliśmy jedynie o zauważalności reklam w czasie przeglądania swojej
tablicy.
4

5. Jakie usłyszeliśmy zastrzeżenia?
Prawdy oczywiste
„Fajnie, że zrobili badanie, ale niczego nowego nie wnosi”. Bolesne to słowa, bo przekreślają cały
wysiłek, jaki włożyłam w badanie… Ale na szczęście mogę się z tym nie zgodzić.
Czy wcześniej wiedzieliśmy, czy użytkownicy naprawdę czytają na tablicy posty polubionych marek?
Czy wiedzieliśmy, czy patrzą na wpisy mówiące co polubili ich znajomi? Czy wiedzieliśmy, czy zwracają
uwagę na zakładki na fan page’u? Nie, nie wiedzieliśmy. Może domyślaliśmy się. Ale dzięki temu
badaniu mamy dane to potwierdzające.
Dekalog oderwany od wyników badania
Na końcu raportu zamieściliśmy Dekalog: Skuteczny fan page na Facebooku. Usłyszeliśmy potem, że
znajdujące się w nim zalecenia nie znajdują poparcia w wynikach badania.
I tak, zgadzam się, że zrobiliśmy duży skrót myślowy. Tworząc ostateczny kształt dekalogu, skupiliśmy
się na tym, aby go nie przegadać i nie dawaliśmy do każdego przykazania rozległych uzasadnień. Ale
każde przykazanie jest poparte danymi uzyskanymi w badaniu. Zabrakło tego w raporcie, ale opisałam
to później w artykule dla Marketingu w Praktyce.
Zupełnie inną kwestią jest aktualność wyników badania. Nie chciałabym się nad tym rozwodzić,
ale uważam, że główny wniosek dotyczący zainteresowaniem postami marek, nadal jest aktualny.
5

6. Dlaczego zaprojektowaliśmy badanie tak a nie inaczej
DECYZJE METODOLOGICZNE
6
http://www.flickr.com/photos/kevinpaulmorris/5308665535/in/photostream

7. Ciąg dalszy zastrzeżeń
Źle dobrani respondenci
Jednymi z najczęstszych sceptycznych głosów były te podważające wartość badania
„przeprowadzonego na tak małej próbie, nie będącej odzwierciedleniem populacji polskich
użytkowników Facebooka”. Bo w Polsce więcej użytkowników to kobiety, bo heavy userzy to
mniejszość i tak dalej.
Metoda budząca wątpliwości
Wątpliwości budził również przebieg badania i wyświetlanie respondentom statycznych
screenów, a nie działającej, klikalnej strony internetowej. Usłyszałam też zdanie podważające
zasadność normalizacji danych.
Za chwilę postaram się odpowiedzieć na dwa pierwsze „zarzuty”. O normalizacji będzie trochę dalej.
7

8. Ograniczenia badań laboratoryjnych
Projektując badanie laboratoryjne należy skupić się na zmiennych, umożliwiających zdobycie
odpowiedzi na pytania badawcze i odpuścić kontrolowanie tych zmiennych, które mają mały wpływ na
nasze hipotezy.
Wiadomo, że dzieje się to kosztem innych aspektów badania (m.in. realizmu), ale takie są prawa
badań laboratoryjnych. Nie ma badań idealnych – odwzorowujących rzeczywiste warunki w
połączeniu z dokładnym pomiarem zmiennych zależnych. Niestety, trzeba iść na ustępstwa.
Każdy eksperyment laboratoryjny jest uproszczeniem
sytuacji z realnego świata - z pewnych rzeczy po prostu
trzeba zrezygnować, aby mieć kontrolę konieczną do
przeprowadzenia pomiaru tego co nas interesuje.
Maciek Lipiec z dyskusji na Goldenline
UX Director K2
8

9. Dlaczego nieklikalna strona?
Tak jak zostało to napisane we wstępie do raportu – zrobiliśmy tak w celu ujednolicenia warunków
badania między respondentami.
Jeśli każdy mógłby dowolnie konsumować treści publikowane na tablicy (zewnętrzne linki, video itp.),
pojawiłoby się wiele zmiennych zakłócających:
 Kliknięcie w link na tablicy, powodowało otwarcie strony docelowej w tym samym oknie
(obecnie otwiera się w nowym), a po kliknięciu Wstecz, tablica nie ładowała się w odpowiednim
miejscu, tylko ponownie na samej górze. Tak więc kontynuowanie przeglądania tablicy, wymagało
przewinięcia strony do odpowiedniego miejsca. A wtedy pojawiałyby się nowe fiksacje,
zakłócające oryginalne wyniki.
 Czas trwania video i poziom zainteresowania nim znacząco wpływałby na ilość fiksacji na
danym poście, wywierając duży efekt na końcowe wyniki. Poza tym nie wszystkie filmy odpalały
się w obrębie Facebooka, niektóre przenosiły na zewnętrzne serwisy.
Dodatkowo budowa Facebooka (dynamiczne elementy na stronie, ciągły refresh) oraz
ograniczenia oprogramowania wykorzystywanego do analizy fiksacji, uniemożliwiały analizę
takich danych.
9

10. Dlaczego heavy userzy?
Heavy users to w naszym rozumieniu użytkownicy najbardziej aktywni, mający sporo znajomych,
obserwujący marki. Uznaliśmy, że taki profil jest najbardziej wartościowy dla marketerów.
Po drugie chcieliśmy mieć respondentów regularnie korzystających z Facebooka i będących
fanami marek, a nie ludzi, którzy „tylko mają tam konto”.
Reprezentatywność i odwzorowywanie realnej grupy odbiorców, nie ma, naszym zdaniem, dużego
znaczenia przy pomiarze percepcji, a szczególnie w środowisku kreowanym przez odbiorcę (strona
główna Facebooka zawiera przecież głównie takie treści, które użytkownik polubił i chce oglądać). Czy
to będzie kobieta, mężczyzna, newbie czy zaawansowany użytkownik, manager czy kasjer – każdy z
nich patrzy na wpisy swoich znajomych czy profili, które go interesują. Wykonywany zawód nie
zmienia sposobu ich percepcji.
10

11. Dlaczego tylko 30 osób?
Nie badaliśmy potrzeb,
motywacji, nawyków, ale To badania percepcji (reakcji fizjologicznej)
reakcje fizjologiczne na bodźce a nie opinii, preferencji, czy zachowań w
wizualne. W takiej sytuacji długim okresie czasu. W związku z tym
badanie setek osób jest kwestia reprezentatywności grupy
bezcelowe. respondentów ma małe znaczenie.
Maciek Lipiec z dyskusji na Goldenline
UX Director K2
Po drugie, padre światowej
użyteczności i eyetrackingu,
Jakob Nielsen, przeprowadził The conclusion from the curve is that we
badania, w których sprawdzał need to have eyetracking data from 30
minimalną ilość respondentów users if we want to be able to draw sound
potrzebnych do uzyskania conclusions from the resulting heatmap.
trafnych wyników w
eyetrackingu. To właśnie 30 Jakob Nielsen z Eyetracking Methodology
osób. useit.com
11

12. Dlaczego tylu mężczyzn?
Po części odpowiedziałam na to pytanie przy heavy userach (dwie strony wcześniej). Po prostu płeć
nie była naszym kryterium rekrutacji.
Dodatkowo pojawiły się dyskusje, w których przywoływano badania eyetrackingowe wykazujące
różnice między płciami. Tak, rzeczywiście różnice istnieją, ale pragnę zaznaczyć, że dzieje się tak w
przypadku złożonych bodźców obrazkowych (np. kobiety więcej patrzą na krocze, a mężczyźni na
twarz bejsbolisty).
Po drugie, jakiekolwiek porównania między płciami miałyby sens, gdyby wszyscy patrzyli na ten sam
bodziec wzrokowy. W naszym badaniu, każdy patrzył na inaczej wyglądającą stronę główną.
Nie było naszym celem robienie porównań wewnątrzgrupowych.
Gdybyśmy chcieli, to ilość respondentów mnożymy razy 2
conajmniej, co odpowiednio zwiększa koszt i czas trwania badania i
analiz. Nie pytałem o to czy są obserwowalne różnice między
kobietami i mężczyznami, ale czy gdybyśmy mieli 15 kobiet i 15
mężczyzn w badaniu, to wynik wyglądałyby diametrialnie inaczej?
Maciek Lipiec z dyskusji na Goldenline
UX Director K2
12

13. Tobii, htmle i kwestionariusze
PRZYGOTOWANIA DO BADANIA
13
http://www.flickr.com/photos/h_is_for_home/3388655598/

14. Testy Facebooka na Tobii
Pierwsze co zrobiłam, to przetestowałam, jak zapisują się dane na eyetrackerze, podczas przeglądania
Facebooka. Niestety okazało się, że przez dynamiczność tej strony, ciągłe doładowywanie się
elementów, java scripty i całą resztę, Tobii zapisuje wyniki na kilkunastu podstronach,
zamiast na jednej, co uniemożliwiało zupełnie jakąkolwiek analizę.
Postanowiliśmy więc badać na statycznych screenach.
Po głębszym zastanowieniu, doszliśmy do wniosku, że takie rozwiązanie jest o wiele lepsze
(argumenty wymieniłam już przed chwilą na stronie 9).
14

15. Screeny w htmlu
Tobii Studio (oprogramowanie do przeprowadzania i analizy badań eyetrackingowych) ma niestety
problem z wyświetlaniem bodźców w formie plików graficznych – skaluje je tak, aby zmieściły się na
ekranie bez przewijania. Można więc sobie wyobrazić, jak wyglądałaby strona Facebooka z
kilkudziesięcioma postami…
Dlatego wrzucamy zawsze pliki png lub jpg w htmla, aby wyświetlały się w przeglądarce.
Jak to robię:
1. Tworzę nowy plik w notatniku, pod odpowiednią nazwą (tutaj: P01.txt)
2. Piszę najprostszy kod html:
<html>
<body>
<center><img src=P01.png></center>
</body>
</html>
3. W żółtym zaznaczeniu, wpisuję oczywiście odpowiednią nazwę pliku do wyświetlenia (png o tej
nazwie musi znajdować się w tym samym folderze)
4. Zapisuję, zamykam plik i zmieniam mu rozszerzenie na P01.html
15

16. Przygotowywanie plików
Jeżeli założyliśmy, że wszystko będziemy badać na statycznych png, musiałam zawczasu przygotować
sobie odpowiednią ilość potrzebnych plików.
I tak, przed przeglądaniem Facebooka, respondenci mieli dla rozgrzewki oglądać stronę Gazety.
Przygotowałam więc odpowiedni screen png i plik html.
To samo zrobiłam dla 4 badanych fan pages.
To czego jeszcze potrzebowałam, to 30 takich par „png + html”, gdzie png jest screenem z tablicy
każdego respondenta. Aby w trakcie badania nie powtarzać całej procedury tworzenia txt, wpisywania
nazwy pliku png i zamiany rozszerzenia z txt na html, przygotowałam sobie wcześniej cały
folder z plikami.
16

17. Przygotowywanie plików
Stworzyłam 30 plików png (w rzeczywistości
był to ten sam plik, zapisany 30 razy pod inną
nazwą) kolejno od P01.png do P30.png
Do pary zrobiłam 30 plików html, pod
odpowiednimi nazwami od P01.html do
P30.html. W każdym pliku html wpisałam
w kodzie odpowiednią nazwę pliku png
(to zaznaczone wcześniej na żółto).
Dzięki temu, jedyne co musiałam zrobić w
trakcie badania, to nadpisać zrobiony właśnie
screen pod odpowiednią nazwą (np. P08.png),
a html był już gotowy.
17

18. Projekt badania w Tobii
Kolejnym krokiem w przygotowaniach było Przed wyświetleniem każdej strony, miały
ustawienie w Tobii sposobu wyświetlania pojawiać się instrukcje. Ustawiłam, aby na
bodźców. Screeny stron miały wyświetlać się w ekranie instrukcji widoczny był kursor, a ekran
przeglądarce, więc wybrałam opcję Web znikał po kliknięciu.
Elements. Ale że html jest lokalny, to jako URL
należało wpisać ścieżkę systemową do pliku.
Wyłączyłam też ograniczenie czasowe dla
wyświetlania strony.
18

19. Samoobsługa i brak losowości
Projektując przebieg badania, założyłam pełną samoobsługę (no, poza kalibracją) – respondent
sam będzie decydował, czy skończył już przeglądanie strony i sam przełączy się do następnej. W
Tobii, można to zrobić za pomocą klawisza F10, więc przykleiłam na nim czerwoną karteczkę i
poinformowałam o tym w instrukcji.
I pora przyznać się do wpadki. Układając kolejność wyświetlania stron założyłam, że przed
każdym fan page powinna pojawić się instrukcja „Za chwilę zobaczysz profil Lady Gaga na
Facebooku…”. Bo tak przecież jest realnie – zanim wejdziesz na jakiś profil, znasz jego nazwę, bo sam
w nią kliknąłeś.
Taki przeplataniec instrukcji i stron spowodował, że nie można było wprowadzić losowej
kolejności wyświetlania fan pages, bo strony pomieszałyby się z instrukcjami (głupi ten Tobii jest
jak but!). Więc wszyscy respondenci przeglądali profile w takiej samej kolejności. Wierzę jednak, że
nie miało to dużego wpływu na wyniki końcowe.
19

20. Co dokładnie robili respondenci
PRZEBIEG BADANIA
20
http://www.flickr.com/photos/morville/3220961846/

21. Screen strony głównej Facebooka
Pre- Instrukcja do Przeglądanie stron Post-
kwestionariusz badania na eyetrackerze kwestionariusz
Respondenci proszeni byli o „nieprzeglądanie
Facebooka przez kilka godzin przed badaniem, aby
uzbierało się kilka ekranów nieprzeczytanych postów”.
Po przyjściu na badanie, respondent logował się do
swojego Facebooka i od razu odwracał głowę,
skupiając się na wypełnieniu pre-kwestionariusza.
W tym czasie przewijałam stronę do dwóch doładowań
i robiłam screena, którego zapisywałam pod
odpowiednią nazwą (np. P30.png). Jednocześnie w
Tobii musiałam zmienić ścieżkę wyświetlanego bodźca
na P30.html.
21

22. Pre-kwestionariusz
Badani wypełniali podstawową metryczkę
 Wiek
 Płeć
 Wykształcenie
oraz opisywali jak korzystają z Internetu
 Od kiedy korzysta z Internetu
 Ile godzin dziennie
 Co zazwyczaj w nim robi
22

23. Instrukcja
Przed rozpoczęciem przeglądania stron na eyetrackerze, tłumaczyłam na czym będzie polagało
badanie:
Najpierw będziesz przeglądać swoją stronę główną Facebooka i prośba, abyś robił
to tak, jak zazwyczaj. Jeśli coś zazwyczaj pomijasz, a coś innego czytasz
dokładnie – teraz rób tak samo.
Następnie wyświetli się kilka fan page’y. Zapoznaj się z nimi, jeśli Cię zainteresują.
Jeśli nie, to przełącz się do następnego zadania, wciskając czerwony klawisz.
Niestety na oglądanych stronach nie da się otwierać linków, są nieklikalne,
ale prośba, abyś klikał we wszystko tak, jak byś normalnie klikał. Strony można
swobodnie przewijać w dół. Możesz je przeglądać tyle czasu ile chcesz.
Gdy skończysz, wciśnij czerwony klawisz.
W trakcie przeglądania stron nie komentuj – będzie na to czas po badaniu.
Instrukcje będą Ci się wyświetlały na ekranie. W razie wątpliwości – pytaj.
Zaczniemy teraz od rozgrzewki – wtedy wszystko Ci się wyjaśni.
23

24. Przeglądanie stron na eyetrackerze
Przed każdym bodźcem na ekranie wyświetlała się instrukcja. Po zapoznaniu się z nią, respondent
klikał, co z kolei powodowało wyświetlenie bodźca (strony).
Badany przeglądał stronę tak długo jak chciał i wciskał czerwone F10, aby przełączyć się od kolejnego
zadania.
Respondenci oglądali kolejno:
1. Stronę główną gazeta.pl – rozgrzewka dla zapoznania się z procedurą badania
2. Stronę główną swojego profilu na Facebooku
3. 4 fan pages – Lagy Gaga, Centrum Nauki Kopernik, IKEA,Musi być głośno, kiedy jest impreza
(Sprite)
24

25. Treści zadań
Instrukcje były dość rozbudowane, w sumie powtarzały część tego, co mówiłam wcześniej.
25

26. Post-kwestionariusz
Po zakończeniu przeglądania stron,
respondenci wypełniali ankietę z pytaniami
dotyczącymi Facebooka:
 Od kiedy ma profil na Facebooku
 Jak często na niego wchodzi
 Ile czasu spędza na serwisie
 Gdzie z niego korzysta
 Z jakich powodów
 Czy jest coś, co mu przeszkadza w
Facebooku
 Czy ukrywa coś na swojej tablicy
 Czy jest fanem marek lub sławnych osób
26

27. Post-kwestionariusz
Na końcu post-kwestionariusza pojawiały się
pytania z USE – znormalizowanego narzędzia
do pomiaru satysfakcji.
Dla ułatwienia, na krańcach skali Likerta,
zamieściłam uśmiechniętą (zdecydowanie się
zgadzam) i smutną (zdecydowanie się nie
zgadzam) emotikonę.
To był pierwszy raz, kiedy użyłam tego
kwestionariusza w badaniu z użytkownikami.
W trakcie wypełniania część zwracała uwagę,
że pytania się powtarzają (w rzeczywistości się
nie powtarzały, tylko mówiły o tym samym
innymi słowami – przypadłość „rzetelnych”
testów).
Spore rozbawienie wzbudzały pytania
„Czuję, że muszę go mieć” i „Jest wspaniały”.
27

28. Dużo excela, procentów i wykresów
ANALIZA WYNIKÓW
28
http://www.flickr.com/photos/an-and/4265094194/

29. Podstawy analizy eyetrackingu
Wbrew pozorom, analiza eyetrackingu nie polega tylko na oglądaniu map cieplnych i ścieżek fiksacji.
W podejściu ilościowym, główną wartością są dane statystyczne. Analizę przeprowadza się w
oparciu o tzw. obszary zainteresowania, dla których zliczane są dane ilościowe.
Jednak warto podkreślić, że w badaniach użyteczności z wykorzystaniem eyetrackingu, analiza
statystyczna nie jest najważniejsza. Poza obserwacją zachowania i pomiarem miejsca patrzenia,
chcemy wnioskować o motywacjach, celach i satysfakcji użytkowników. Aby to było możliwe, bierze
się pod uwagę:
• dane jakościowe – zachowanie badanych oraz ich spontaniczne wypowiedzi i deklaracje
• dane statystyczne dla określonych obszarów zainteresowania
• ekspercką analizę ścieżek patrzenia („ekspercką”, bo przeglądając nagrania z fiksacjami, nie
przeprowadzamy żadnej „twardej analizy”, ale poszukujemy pewnych schematów i wnioskujemy o
motywacjach)
Z drugiej strony muszę podkreślić, że nasze badanie, nie było badaniem użyteczności. Nasze
badanie było pomiarem percepcji. Nie próbowaliśmy badać potrzeb i oczekiwań użytkowników.
Przy celu badania, którym było określenie sposobu czytania treści na stronie, najważniejsze były dane
ilościowe i analiza statystyczna.
29

30. Przygotowania do analizy statystycznej
OBSZARY ZAINTERESOWANIA
30

31. AOI na fan page
Pierwszym krokiem do analizy statystycznej, jest
stworzenie AOI (Area of Interest), czyli obszarów
zainteresowania, dla których będą zliczane fiksacje.
Polega to na zaznaczaniu określonych obszarów strony
(analogicznie jak na schemacie obok), za pomocą
specjalnego oprogramowania.
Określenie obszarów zainteresowania dla fan
pages było dość łatwe – wszystkie te strony były
zbudowane według tego samego schematu i posiadały
takie same obszary. Wytypowałam takie obszary, jak
widać po prawej.
Błędem, który niestety zbyt późno zauważyłam, było
niezrobienie obszaru dla dodatkowych boksów,
które marki mogły wstawiać w lewej kolumnie,
zazwyczaj jako bannery graficzne. (Niedługo po
badaniu, Facebook zniósł możliwość tworzenia takich
boksów).
31

32. AOI na stronie głównej
Dla strony głównej sytuacja wyglądała inaczej.
Liczyliśmy się z tym, że każdy respondent
patrzył na inną (swoją) stronę główną, ale nie
spodziewaliśmy się aż takich różnic. Okazało
się, że prawa kolumna serwisu wyglądała
inaczej u każdego respondenta (po prawej
4 przykłady).
I nie chodziło tylko o wielkość obszarów, ale o
ich różnorodność – niektórzy mieli Wydarzenia
a inni ich nie mieli, niektórzy mieli
Sponsorowane, a inni nie. Podobnie było z
Zaproszeniami, Zaczepkami, Wyświetlanymi,
Osobami, które możesz znać itp.
Określenie jednego schematu i wytypowanie
sensownych obszarów, było sporym
wyzwaniem.
32

33. AOI na stronie głównej
Ostatecznie zdecydowałam się na zaznaczanie tylko
tych obszarów, które potencjalnie mogą być
przydatnym narzędziem dla marketerów
 Sponsorowane (reklamy)
 Wydarzenia (wydarzenia mogą być obrandowane)
 Zaproszenia (a wśród nich sugerowane strony)
Niezbyt interesowało mnie, czy ktoś patrzy na Osoby,
które możesz znać. Z tego powodu też, nie
analizowałam fiksacji na tym obszarze, ani na Czacie,
Wyszukiwarce czy Menu głównym – takie dane nie
miały znaczenia dla moich pytań badawczych (czy
marki mają szansę zainteresować i dotrzeć do
użytkowników Facebooka?)
33

34. Podział postów na AOI
Kolejnym krokiem był podział na obszary (AOI) postów, pojawiających się na tablicach badanych.
Podział według źródła postów
Przede wszystkim musieliśmy oddzielić posty znajomych od postów marek. To było dość proste,
po zdefiniowaniu marki jako „fan page nastawiony głównie na promocję konkretnego brandu”. I tak
trafiły tu m.in. marki fmcg, banki, seriale telewizyjne i znane osobistości. Ale zostało jeszcze wiele
innych postów – np. newsy z TVN24 czy wpisy dotyczące Forfitera. Długo dyskutowaliśmy (Socialistka
– dzięki za wsparcie!) i pojawiały się nawet takie pomysły jak „post ideologiczny”, pochodzący np. ze
strony Wiosno napierdalaj!.
Na szczęście zachowaliśmy zdrowy rozsądek i dokonaliśmy prostego podziału na posty:
 tematyczne obrandowane – posty skupiają się wokół konkretnego tematu, dla którego
użytkownik śledzi stronę, ale nie promują marki wprost (TVN24, Seromaniacy, Kocham ogród)
 tematyczne nieobrandowane – wpisy skupiają się na danym temacie, bez obecności
jakiejkolwiek marki. Fan pages prowadzone „dla idei” (Forfiter, Batman, Paczaizm)
Podział po rodzaju postów
Podzieliłam również posty według typu – czysty tekst, link, video, zdjęcie (mogące być połączone z
tekstem), aktywności (kto co polubił) oraz aplikacje (np. wynik quizu czy wylosowany cytat)
34

35. Zaznaczanie AOI w Tobii
Sporym wyzwaniem było również zaznaczanie obszarów w oprogramowaniu Tobii.
Niestety Tobii, w ramach jednego bodźca (pojedynczej strony), nie pozwala na
stworzenie kilku AOI o tej samej nazwie (np. „znajomi”), aby automatycznie
tworzyć dla nich wspólne statystyki. Nie mogłam więc narzędziem Rectangle
zaznaczać każdego wpisu osobno.
Musiałam dla wszystkich postów danego typu (np. wpisów znajomych),
stworzyć jeden obszar. Zrobiłam to dzięki narzędziu Polygon, którym można
zaznaczać obszary o dowolnym kształcie. Mówiąc obrazowo – pojedynczy AOI był
cienkim paskiem z prawej strony tablicy, wychylającym się w lewo tylko w celu
zaznaczenia posta danego rodzaju. Ilustracja po prawej: fragment tej samej tablicy
z zaznaczonymi trzema AOI (znajomi, marki, temat-nobrand).
Taka metoda oznaczała, że musiałam każdą tablicę
przewinąć do samego dołu kilkanaście razy,
za każdym razem zaznaczając tylko wpisy jednego typu.
Żeby się w tym nie pogubić, miałam cały czas otwarty
notatnik z listą wszystkich AOI.
35

36. Po wielu godzinach żmudnego zaznaczania obszarów w Tobiim,
powstały 34 takie tablice (30 respondentów oraz 4 fan pages).
Tutaj tylko fragmenty, w rzeczywistości tablice były o wiele dłuższe.
36

37. Ilość postów na tablicach
Pierwsze co sprawdziłam, po zaznaczeniu wszystkich AOI, to stosunek różnego rodzaju postów na
tablicach badanych. Jednak nie chciałam tego robić zliczając ilość postów. Postanowiłam
przeanalizować powierzchnię jaką zajmują na tablicy. To bardziej precyzyjna statystyka, na podstawie
której mogłam potem normalizować dane dotyczące fiksacji (więcej o normalizacji za chwilę).
Takie informacje o AOI znajdują się w Tobii (lewy screen). Wystarczyło wklepać do excela (prawy
screen) odpowiednie wartości, a potem wziąć poprawkę na to, że procenty prezentują „powierzchnię
na stronie” a nie na tablicy. Sumę postów wszystkich typów (ok. 40% powierzchni strony), należało
„przerobić” na 100% tablicy. W tym celu każdą pojedynczą wartość należy podzielić przez sumę.
37

38. Ilość postów na tablicach
Uzyskane wyniki (dwa wykresy po prawej) nie
były zaskoczeniem – raczej spodziewaliśmy się
tak miażdżącej przewagi postów znajomych. Duża
ilość publikowanych linków była tego naturalnym
następstwem – znajomi najczęściej dzielą się
linkami.
Dla fan pages zrobiłam taką samą analizę rodzaju
postów. Jednak dane z 4 stron uznałam za mało
reprezentatywne, aby publikować je w raporcie. A
wyglądały jak poniżej.
38

39. No to przechodzimy do statystyki
ROZPOCZYNAM ANALIZĘ
39

40. Analiza statystyczna w excelu
Niestety zakładka Statistics w Tobiim jest daleka od doskonałości. Pozwala jedynie na sprawdzenie
różnych średnich (np. czasu fiksacji) dla wybranego AOI (np. sponsorowane), na pojedynczym bodźcu
(np. stronie głównej respondenta P26). Oznacza to możliwość przeglądania statystyk tylko dla każdego
respondenta osobno.
A ja potrzebowałam danych zbiorczych (z wszystkich
respondentów) i możliwości dalszej ich obróbki.
Z pomocą przyszedł mi Tomek Rutkowski, który stworzył
ETCrunch – superhiper excela do analizy danych z
Tobii. Zainteresowanych szczegółami, zapraszam do
Tomka. Ja pokrótce mogę tylko powiedzieć, że:
1. Wypluwaliśmy z Tobii totalnie surowe dane dla każdej
strony (na zakładce Statistics, przyciski Export… i AOI
Statistics Export…) – w ten sposób otrzymaliśmy 68
plików txt z tysiącami wierszy różnych danych
2. ETCrunch zaciągał je do swojego pliku excel i mielił na
różne sposoby – liczył średnie, robił różne zestawienia,
zaznaczał dewiantów, a nawet rysował wykresy!
40

41. Jak wyglądał excel EtCrunch
Zawierał osobne zakładki ze statystykami dla każdej strony. Była też zakładka Porównania AOI, gdzie
znalazło się zestawienie wszystkich respondentów i ich dokładnych statystyk dla każdego AOI
A zmienne dla AOI były następujące:
 Czas do pierwszej fiksacji na obszarze
 Czas fiksacji na obszarze
 Czas pierwszej fiksacji na obszarze
 Ilość fiksacji na obszarze
 Czas obserwacji na obszarze
 Ilość obserwacji na obszarze
 Procent użytkowników fiksujących na obszarze
 Czas od fiksacji na obszarze do kliknięcia
 Czas do pierwszego kliknięcia w obszar
 Ilość kliknięć w obszar
Ile celek miał arkusz do analizy strony głównej?
10 (zmiennych) x 16 (AOI) x 30 (respondentów)
= 4 800
41

42. Data mining pełną parą
To była naprawdę duża ilość danych, którą trzeba było sensownie przetworzyć. Oczywiście nie
wszystkie statystyki miały sens, nie dla wszystkich AOI.
Z czasem, zagłębiając się w cyferki i poszukując odpowiedzi na pytania badawcze, okazało się, że w
EtCrunch nie ma wszystkich potrzebnych mi danych. Wtedy albo Tomek dorabiał kolejne
narzędzia do zliczania czegoś, albo robiłam to „na piechotę”, spisując z Tobii. I tak dla przykładu:
 Tomek dorabiał zliczanie czasu spędzonego przez respondentów na stronach, bo Tobii nie daje
takich danych w formie tabeli czy średnich. Jako ciekawostka – aby sprawdzić czas przeglądania
profilu CNK, potrzebny był excel z 16 639 wierszami danych (fragment na screenie poniżej)
 Ja, chcąc wykonać dokładną analizę
jakościową kliknięć, musiałam przeglądać
wszystkie heat mapy i spisywać to w
kolejnym excelu (szczegóły za jakiś czas)
Szukałam wielu danych, normalizowałam je,
liczyłam mnóstwo średnich, rysowałam
najróżniejsze wykresy… to był największy
data mining, jaki w życiu zrobiłam!
42

43. NORMALIZACJA DANYCH
43

44. Skąd wzięła się taka potrzeba?
Więc zaczęłam liczyć średnie dla różnych zmiennych, np. średni
czas fiksacji. Chcąc dowiedzieć się, na czyje posty respondenci
patrzyli najdłużej, dostałam takie wyniki – 70% na wpisach
znajomych, 14% na wpisach marek.
Nie trudno było się domyslić dlaczego tak jest. Sprawdzałam
przecież przed chwilą rozkład postów na tablicach respondentów i
dowiedziałam się, że postów pisanych przez znajomych jest 70%,
a postów matek 17%.
Jak więc wyciągać z tego sensowne wnioski, a nie oparte na
przypadkowości badanego środowiska (tworzonego przez
respondenta i przez to za każdym razem innego)? Musiałam
sprowadzić wszystkie wyniki do wspólnego mianownika,
znormalizować. A to polegało na uwzględnieniu różnic w
wielkości AOI u każdego respondenta.
44

45. Dlaczego normalizowałam dane?
Mówiąc bardziej obrazowo: u każdego respondenta, strona główna wyglądała inaczej, więc i każdy
AOI wyglądał inaczej – u jednego badanego posty znajomych mogły zajmować 3/4 tablicy, a u innego
1/3. Naturalne jest wtedy, że u pierwszego badanego, ilość fiksacji na postach znajomych będzie mniej
więcej 3 razy większa, niż u drugiego badanego. Ta różnica jednak nie świadczy o większym
zainteresowaniu, ale o innym dostępie do informacji. A moim celem nie było zbadanie różnic w
dostępie do postów, ale w sposobie ich konsumowania.
Normalizacja była konieczna, aby:
 uśredniać dane dla wielu respondentów
 porównywać wyniki dla obszarów zainteresowania o różnej wielkości
 dowiedzieć się, jaka jest prawdziwa „siła przyciągania” wpisu znajomego vs wpisu marki
45

46. Sposób normalizacji
Jak już wcześniej wspominałam, Tobii liczy procent powierzchni zajmowanej przez
każde AOI (dla przypomnienia screen po prawej). Do normalizacji wykorzystałam
właśnie te dane. A dokładniej tą część, która mówiła o obszarach poza tablicą. Bo
do normalizacji postów, wykorzystałam przeliczone już wcześniej procenty
(sumujące się do 100% dla samej tablicy, patrz strona 37).
Dane znormalizowane uwzględniały stosunek uzyskanej wartości zmiennej do
wielkości obszaru, dla którego zmienna była liczona.
Najpierw normalizowałam wyniki
pojedynczych osób (wizualizacja po
prawej).
Dopiero te dane lądowały w zbiorczych
tabelach dla wszystkich respondentów,
gdzie można było nareszcie (!) zacząć
liczyć jakieś średnie.
46

47. • mmmmm
Miałam dwa excele z tymi samymi danymi.
W jednym analizowałam dane znormalizowane
(na górze), w drugim surowe (na dole).
47

48. • mmmmm
Ananlizowałam te same dane na różny sposób,
aby upewnić się, która z dróg jest sensowna.
Przykładowo, te trzy wykresy prezentują to
samo – średni czas fiksacji na obszarach
strony głównej.
48

49. Analizowałam dużo zmiennych, ale nie wszystkie
wnosiły coś nowego. I tak np. zrezygnowałam z
ilości fiksacji i czasu obserwacji . Czas fiksacji
(pokazany na poprzedniej stronie) w zupełności
wystarczał. 49

50. Za to kliknięcia respondentów
wydały się być ciekawą
zmienną. Świadczyły o realnym
zainteresowaniu kontentem.
Tutaj przyglądałam się ilości
kliknięć na wybranych AOI
50

51. Jakościowa analiza kliknięć
Jednak informacje wynikające ze statystyk dla AOI – czyli w czyje posty i jakiego typu klikali badani –
nie były dla mnie zaspokajające. Chciałam dowiedzieć się w co dokładnie klikali – w link, lubię,
pole do wpisywania komentarza, w zdjęcie (celem powiększenia) itp.
Oczywiście jedyny sposób, w jaki mogłam to sprawdzić, to przejrzeć wszystkie mapy cieplne (na
których Tobii zaznacza kliknięcia) i spisać obserwacje do kolejnego excela.
Dane były ciekawe (kolorowa tabela poniżej), ale zbyt szczątkowe, aby wykorzystać je w raporcie.
Drugim powodem dla wykonania takiej analizy była chęć sprawdzenia jaki typ posta, spośród wpisów
tylko marek, jest najatrakcyjniejszy (efekt na wykresach).
51

52. Gdzieś po drodze…
… zrobiłam jeszcze bardziej szczegółową analizę kliknięć na fan pages. I dostałam takie dość ciekawe
wyniki. Ale znowu uznałam, że to zbyt mało reprezentawywne do publikacji.
(Powinna być przeprowadzona analiza większej ilości fan pages, aby można było takie dane
„poważnie” brać pod uwagę)
52

53. Kończąc już z analizą zmiennych
Dużo było tych danych i zapewne można by znaleźć w nich jeszcze inne ciekawe rzeczy. Ale w
pewnym momencie trzeba zachować zdrowy rozsądek i powiedzieć sobie „dość” :)
Wniosków wyciągniętych z tych wszystkich danych, nie ma sensu jeszcze raz teraz powtarzać –
zostały opisane w raporcie. Chętnych zapraszam do lektury.
Będąc już blisko końca, chciałam tylko jeszcze pokazać dwie rzeczy, które zrobiłam na potrzeby
raportu:
 Przejrzałam wszystkie nagrania ze
ścieżkami fiksacji wzroku respondentów
i zauważyłam pewne schematy w
kolejności przeglądania elementów
na stronie głównej. Postanowiłam więc
dokładniej je sprawdzić
 Zrobiłam też mapę cieplną prezentującą
uśrednione fiksacje wszystkich
respondentów na stronie głównej
53

54. Jak określiłam sposób przeglądania?
Najpopularniejszy sposób przeglądania strony
głównej Facebooka, ustaliłam na podstawie:
 Wspomnianej już na poprzedniej stronie,
eksperckiej analizy ścieżek wzroku
respondentów, widocznych na video z
badania
 Średniego czasu do pierwszej fiksacji na
AOI ze strony głównej
 Jakościowej analizy kliknięć – Tomek
zdobył kolejność kliknięć każdego
respondenta w AOI. Zliczyłam jaki obszar
klikali jako pierwszy, jaki w drugiej kolejności
itd. (screen po prawej)
 Analizy mapy cieplnej strony głównej
po pierwszych 5, 10 i 15 sekundach
patrzenia
Wszystkie te drogi wskazywały na jeden
najpopularniejszy schemat przeglądania strony
(szczegóły w raporcie).
54

55. Jak zrobiłam wspólną heat mapę
Jak już wcześniej wspomniałam, Tobii pozwala tylko
na osobną analizę dla każdej badanej podstrony. Nie
można było więc tak po prostu uzyskać wspólnej
mapy cieplnej dla fiksacji wszystkich respondentów
na swoich stronach głównych. Trzeba było poszukać
drogi na około.
Jedyną opcją są tzw. Web Groups, gdzie można
„przesuwać” dane z jednego bodźca na drugi.
Przykładowo, fiksacje respondenta P25 na stronie
Lady Gaga, mogę przesunąć na profil CNK.
Mogłam więc fiksacje wszystkich badanych
przesunąć do jednej grupy i uzyskać uśrednione
dane. Oznaczało to jednak totalne pomieszanie
wszystkiego. Postanowiłam więc zrobić to na kopii –
zrobiłam archiwum danych i zaimportowałam je do
nowego projektu pod inną nazwą. Tam mogłam już
ze spokojną głową mieszać danymi do woli.
55

56. Jak zrobiłam wspólną heat mapę
Za pomocą Web Groups uśredniłam fiksacje
wszystkich respondentów. Kolejnym krokiem było
przygotowanie „strony”, na której zostaną one
wyświetlone.
Jak zapewne pamiętacie, każda strona główna
miała inną prawą kolumnę (z innymi obszarami o
różnej wielkości), przez co niemożliwe było
poprawne zaprezentowanie fiksacji. Posłużyłam się
więc makietą strony, która miała podkreślać pewną
umowność obszarów z zaprezentowanymi danymi.
Pozostało tylko wyeksportować png z samymi
fiksacjami i nałożyć je na przygotowaną makietę.
A po co tak się siliłam? Chciałam zobaczyć jak
czerwono będzie na Powiadomieniach, lewym
menu i prawej kolumnie. To była też jedyna
możliwość sprawdzenia, jak będą się rozkładały
fiksacje w miarę przewijania strony w dół.
56

57. ANALIZA KWESTIONARIUSZY
57

58. Post
Dane z post-kwestionariusza przerzuciłam
oczywiście do excela :) Te, które mogłam –
uśredniłam. Odpowiedzi z pytań zamkniętych
zliczyłam, a następnie policzyłam ich udział
procentowy.
Było tez kilka pytań otwartych. Niestety okazało
się, że odpowiedzi były tak różnorodne, że nie
dało się stworzyć sensownego klucza.
Dlatego nie znalazły się ostatecznie w raporcie.
Ale było kilka ciekawych odpowiedzi:
Dlaczego korzystasz z Facebooka?
Chcę publikować fajne rzeczy (3)
Używam jako komunikator i pocztę (3)
Co Ci w nim przeszkadza?
Uzależnia (3)
Zjada czas (1)
Wall nie pokazuje tego, co mnie interesuje (1)
58

59. USE
Pytania w kwestionariuszu pochodzą z 4 skal:
Usefulness, Satisfaction, Ease of use i Ease of learning.
Uśredniłam wyniki dla każdego pytania, a następnie
uśredniłam wyniki dla każdej skali.
W książce Meausuring the User Experience wyczytałam, że
wyniki z tego kwestionariusza najlepiej pokazywać na
wykresach procentowych. Więc wyliczyłam procenty,
dzieląc każdą średnią przez 7 (maximum, ilość stopni na
skali odpowiedzi) i zmieniając format liczb w komórkach na
„procentowe”. Na koniec ładny wykres radarowy i wygląda
identycznie jak sugerują autorzy książki :)
59

60. I nareszcie
ZBLIŻAM SIĘ DO KOŃCA
60
http://www.flickr.com/photos/photography-andreas/6491386965/in/set-72157625593125283

61. Podsumowując
Siedzenie w excelach zajęło mi kilka tygodni (niestety po drodze trzeba było też robić inne projekty).
W trudniejszych momentach wspierał mnie Tomek – nie tylko narzędziowo, ale przede wszystkim
merytorycznie. Dużo dyskutowaliśmy o tym, jak obrabiać dane, uśredniać i przeliczać, aby nimi
nieświadomie nie zamanipulować. Wydaje mi się, że nam się udało.
Potem już tylko napisałam raport prezentujący wyniki badania. K2 Motion przygotowało film
zachęcający, do zapoznania się z raportem. Na Flickr wrzuciłam kilka map cieplnych. Na YouTube kilka
filmików (niestety nie mogłam opublikować nagrań z przeglądania strony głównej, bo stanowiły zapis
kawałka prywatności naszych respondentów). Napisałam artykuł dla Marketingu w Praktyce. Kilka
miesięcy później zgłosiłam badanie w konkursie IAB Europe Research Awards 2011 i dostaliśmy
wyróżnienie, stając koło podium z Google, Yahoo!, Microsoft, CNN, Orange.
A teraz napisałam tego case’a. Nie było łatwo odnaleźć się w gąszczu danych i kilkunastu excelach.
Ale mam nadzieję, że udało mi się przybliżyć cały proces i choć trochę Was tym zainteresować.
61

62. Paulina Makuch
DZIĘKUJE
ZA UWAGĘ
www.IfixUX.pl
www.facebook.com/IfixUX 62
@IfixUX