Materiały na zajęcia "Dobór próby w badaniach"

1. Błąd wynikający z braku odpowiedzi
Dobór próby w badaniach 12 maja 2014

2. Przykład błędu z operatu –
wybory prezydenckie w USA w
1936 roku
• Franklin Delano
Roosevelt vs. Alf Ladon
• Sondaż The Literary
Digest (2,4 milionów
osób) – Landon 57%,
Roosevelt 43%
• Wyniki wyborów –
Roosevelt 62%, Landon
38%
• Dlaczego tak się stało?

3. Przykład błędu z operatu –
wybory prezydenckie w USA w
1936 roku
• The Literary Digest –
wysyłka ankiet do 10
milionów osób z
książek
telefonicznych i list
członkowskich
różnych klubów
• Wykorzystano
odpowiedzi 2,4
miliona osób
spośród 10 milionów
wylosowanych do
próby

4. • Odmowa odpowiedzi
• Nieobecność respondenta
• Przeoczenie ankietera

5. Skutki braku odpowiedzi
Zmniejszenie próby
Obciążenie estymatorów

6. Przyczyny zniekształcenia wyników:
Im większa proporcja osób nie udzielających
odpowiedzi, tym większy błąd
𝑅 = 1 −
𝑛−𝑟
𝑟
,
gdzie R – proporcja udzielonych odpowiedzi, n
– wielkość próby, r – ilość udzielonych
odpowiedzi
𝑍𝑎𝑑𝑎𝑛𝑖𝑒:
Wielkość próby wynosi 1200 osób.
Otrzymano 1000 odpowiedzi.
Ile wynosi proporcja udzielonych
odpowiedzi, a ile – proporcja braku
odpowiedzi?

7. Błąd wynikający z braku odpowiedzi
(non-response error)
𝑠𝑢𝑟𝑣𝑒𝑦 𝑠𝑡𝑎𝑟𝑡𝑖𝑛𝑔 𝑟𝑎𝑡𝑒 =
𝑙𝑖𝑐𝑧𝑏𝑎 𝑟𝑜𝑧𝑝𝑜𝑐𝑧ę𝑡𝑦𝑐ℎ 𝑎𝑛𝑘𝑖𝑒𝑡
𝑙𝑖𝑐𝑧𝑒𝑏𝑛𝑜ść 𝑝𝑟ó𝑏𝑦
Stopień realizacji próby
(survey starting rate)
Nie wypełniony cały
kwestionariusz
(unit-non response)
Nie wypełnione niektóre
pozycje kwestionariusza
(item-non response)

8. Przyczyny zniekształcenia wyników:
Istotność błędu wynikającego z braku odpowiedzi
zależy od zakresu, w jakim średnia populacyjna
obliczona w próbie dla warstwy osób nie
udzielających odpowiedzi różni się od średniej
obliczonej dla warstwy odpowiadających
zł2,750
zł3,650
Udzielający odpowiedzi Nie udzielający odpowiedzi
Średni dochód na osobę w rodzinie

9. Każdy powód nieudzielenia odpowiedzi w
inny sposób wpływa na wyniki!
• Brak możliwości przeprowadzenia wywiadu
(choroba, bariera językowa itp.)
• Nieodnalezieni respondenci (np.
przeprowadzka)
• Nieobecni w domu
• Odmowa odpowiedzi (może zależeć od
rodzaju pytań!)

10. Od czego zależy proporcja nie
udzielających odpowiedzi?
• Rodzaj populacji
• Metoda zbierania danych
• Rodzaj i forma zadawanych pytań
• Umiejętności ankietera
• Liczba ponownych prób kontaktu z
respondentem

11. Jak oszacować efekt braków
odpowiedzi? Przykład.
 Pytamy ludzi o ich preferencje polityczne.
 Na 3000 osób, które spytaliśmy, 10% (300 osób), nie
udzieliło odpowiedzi.
 Załóżmy, że wiemy z innych źródeł, że spośród tych
osób, 70% zarabia rocznie mniej około 30 tysięcy
złotych
 Wiemy też, że 90% osób uzyskujących dochody w
tym przedziale głosuje na Partię Ludzi Na Dorobku.
 Dzięki temu możemy szacować, że 189 osób, które
nie udzieliły odpowiedzi, to zwolennicy PLND, bo:
0,70 × 300 × 0,90 = 189.

12. Poziom realizacji prób OBOP w latach 1973-2003
Z. Kołakowska; Metodologiczne problemy zjawiska niedostępności w badaniach sondażowych; Warszawa 2006.

13. Przyczyny braków udziału
wylosowany respondent nie żyje
2.6%
wylosowany respondnent zmienił
miejsce zamieszkania i nie można się
z nim skontaktować
17.3%
nie można się skontaktować z nikim
pod wskazanym adresem
12.3%
błędny adres
1.2%
inne
0.2%
wylosowany respondent
nieobecny/nieuchwytny przez cały
okres realizacji
35.8%
wylosowany respondent odmówił
chęci wzięcia udziału
25.0%
wylosowany responent jest
niesprawny
5.5%
wylosowany respondent nie spełnił
kryteriów badania
0.1%
Z. Kołakowska; Metodologiczne problemy zjawiska niedostępności w badaniach sondażowych; Warszawa 2006.

14. Przyczyny braku odpowiedzi
odmowa
57%
czasowa nieobecność
8%
nikogo nie ma w domu
22%
niemożność udziału w
badaniu (choroba lub
podeszły wiek)
10%
inne
3%
Badanie Budżetów Gospodarstw Domowych 2012, GUS

15. Response rate dla płci
0.62
0.61
0.58
0.62
0.61
0.60
0.59
0.56
0.58
0.59
0.58
0.600.60
0.58
0.56
0.61
0.56 0.56
0.55
0.50
0.57
0.53
0.57
0.56
sty-05 lut-05 mar-05 kwi-05 maj-05 cze-05 lip-05 sie-05 wrz-05 paź-05 lis-05 ogółem 2005
kobiety mężczyźni
Z. Kołakowska; Metodologiczne problemy zjawiska niedostępności w badaniach sondażowych; Warszawa 2006.

16. Response rate dla wieku
Z. Kołakowska; Metodologiczne problemy zjawiska niedostępności w badaniach sondażowych; Warszawa 2006.
0.67
0.63
0.62
0.61
0.67
0.62
0.61
0.58
0.68
0.61 0.61
0.65
0.63
0.51
0.50 0.50
0.56
0.48
0.56
0.47 0.47
0.48
0.44
0.51
0.50 0.50
0.67
0.66
0.59
0.65
0.67
0.62
0.57
0.54
0.59
0.56 0.56
0.54
0.60
0.35
0.40
0.45
0.50
0.55
0.60
0.65
0.70
sty-05 lut-05 mar-05 kwi-05 maj-05 cze-05 lip-05 sie-05 wrz-05 paź-05 lis-05 gru-05 ogółem 2005
65+ 25-34 18-24

17. Response rate dla wieku
Z. Kołakowska; Metodologiczne problemy zjawiska niedostępności w badaniach sondażowych; Warszawa 2006.
0.73
0.71
0.67
0.74
0.70
0.71
0.73
0.65
0.70
0.69
0.68 0.68
0.70
0.62
0.58
0.57
0.59
0.60
0.55
0.56
0.59
0.56
0.52
0.55
0.54
0.570.57
0.60
0.53
0.63
0.59
0.54 0.54
0.53
0.57
0.54
0.56
0.54
0.56
0.53
0.51
0.52
0.51
0.49
0.51
0.46
0.41
0.47 0.47
0.49
0.50
0.49
0.40
0.45
0.50
0.55
0.60
0.65
0.70
0.75
0.80
sty-05 lut-05 mar-05 kwi-05 maj-05 cze-05 lip-05 sie-05 wrz-05 paź-05 lis-05 gru-05 ogółem
2005
wieś miasto do 20 tys. miasto 20-100 tys. miasto powyżej 100 tys.

18. Różnice regionalne
jasny odcień
– mniejszy
wskaźnik
odpowiedzi
ciemny odcień
– większy
wskaźnik
odpowiedzi
BAEL 2012

19. Braki odpowiedzi w pytaniu o
dochody
35%
12%
44%
ESS 2010 PGSS 2008 PBC 2012
J. Rutkowski, Braki odpowiedzi na pytania o wysokość dochodów w badaniach sondażowych.
Przegląd problematyki; Warszawa 2012.

20. Sposoby radzenia sobie z brakami
odpowiedzi
• Lepsze procedury docierania do
respondentów
• Próby rezerwowe
• Ważenie poststratyfikacyjne
• Dodatkowe badania
J. Rutkowski, Systematyczność braków danych w badaniach sondażowych; Warszawa 2012.;
http://nastrazysondazy.uw.edu.pl/konferencja2/J_Rutkowski.pdf

21. Ćwiczenie 1
• Twoje zadanie polega na zbadaniu opinii
mieszkańców gminy Orla (powiat bielski) na
temat zdrowego odżywiania.
• Skonstruuj próbę badawczą do takiego
badania.
• Określ szacunkowy, oczekiwany odsetek
braku odpowiedzi
• Zastanów się nad sposobami zmniejszenia
braków odpowiedzi w tym badaniu.

22. Ćwiczenie 2
• Twoje zadanie polega na zbadaniu gustów
muzycznych studentów Uniwersytetu w
Białymstoku
• Zastanów się, za pomocą jakiego narzędzia
badawczego mógłbyś skorzystać
• Skonstruuj próbę badawczą do takiego
badania.
• Zastanów się nad sposobami zachęcenia
studentów do wzięcia udziału w badaniu.

23. Ćwiczenie 3
• Twoje zadanie polega na zbadaniu stylu i
komfortu życia mieszkańców Białegostoku
• Zastanów się, za pomocą jakiego narzędzia
badawczego mógłbyś skorzystać
• Skonstruuj próbę badawczą do takiego
badania.
• Zastanów się nad sposobami minimalizacji
problemu braku odpowiedzi.