„Sufitowanie”: czy rzeczywiście największy problem badań sondażowych? 30

czerwca w „Dużym Formacie” opublikowany został wywiad ze współwłaścicielem pomorskiej firmy badawczej zatytułowany „Sufitowanie”. Podtytuł informuje, że „od kilku do kilkunastu procent polskich badań oglądalności telewizji, poparcia dla partii, prezydenta, rządu, opozycji itp. branych jest z sufitu”. W tekście szczegółowo opisane są stosowane przez ankieterów sposoby „ułatwiania” sobie pracy, a mówiąc wprost – oszustwa ankieterskie.

Pierwsza wątpliwość dotyczy tego, że nie wiadomo, jak autorowi tego stwierdzenia udało się ustalić wielkości „prawdziwego” poparcia – skąd wzięła się taka różnica? Po drugie, oszustwa ankieterskie są ważnym, ale tylko jednym z wielu zagrożeń dla wiarygodności wyników. Nie stanowią one specyfiki polskich badań sondażowych; zdarzają się praktycznie we wszystkich krajach, także mających znacznie dłuższe tradycje w prowadzeniu badań niż Polska. Klasyk niemieckich badań opinii publicznej Elisabeth Noelle-Neumann w wydanej w roku 1963 książce szacowała, że w systematycznie kontrolowanej sieci ankieterskiej Instytutu Demoskopijnego w Allensbach ok. 3 proc. ankieterów dopuszczało się oszustw. Również i w Polsce profesjonalne instytuty badania opinii i rynku prowadzą systematyczną, drobiazgową kontrolę pracy ankieterów, a pracujących nieuczciwie usuwają z sieci ankieterskiej. Oczywiście diametralnie odmiennie może to wyglądać w instytutach, które próbują skusić klientów niską ceną za badania. Najprościej jest redukować koszty, obniżając wynagrodzenie ankieterów i rezygnując z kontroli ich pracy lub też prowadząc kontrolę „rytualną” – jedynie w celu odnotowania, że została ona przeprowadzona.

Pomyłki w wynikach są najbardziej widoczne w przypadku prognoz przedwyborczych. W Wielkiej Brytanii dwukrotna pomyłka w prognozach na niekorzyść Partii Pracy wystąpiła w związku z wyborami parlamentarnymi w roku 2015, a wcześniej w roku 1992. Szeroko komentowana była pomyłka w prognozach przed pierwszą turą wyborów prezydenckich w roku 2002 we Francji, gdzie wbrew wynikom sondaży do drugiej tury zakwalifikował się Jean-Marie Le Pen. W Polsce w ostatnich latach wyniki sondaży były krytykowane w związku z wyborami prezydenckimi w roku 2010, gdzie niedoszacowany był odsetek głosów oddanych na Jarosława Kaczyńskiego, a przeszacowany na Bronisława Komorowskiego. Szczegółowe przyczyny tych pomyłek każdorazowo są analizowane przez organizacje branżowe. W Polsce Organizacja Firm Badania Opinii i Rynku zleciła analizę przyczyn wspomnianej pomyłki specjalnie powołanemu zespołowi, który obejmował: Henryka Domańskiego, Radosława Markowskiego, Zbigniewa Sawińskiego i Pawła Sztabińskiego, czego wyniki opublikowane zostały w postaci osobnego raportu.

Generalnie rzecz biorąc, pomyłki te związane są z czterema rodzajami błędów, które mogą wystąpić w wynikach sondaży. Są to: błąd związany z próbą do badania, błąd „pokrycia”, błąd pomiaru i błąd braku odpowiedzi. Negatywny wpływ braku odpowiedzi polega przede wszystkim na sytuacji, w której z różnych względów, głównie z powodu odmów udziału w sondażu lub też niemożności skontaktowania się z wylosowaną do badania osobą, ankieterowi nie udaje się z nią przeprowadzić wywiadu. W ciągu ostatniego ćwierćwiecza odsetek takich osób dramatycznie wzrasta we wszystkich krajach rozwiniętych, stając się podstawowym problemem badań sondażowych. WPolsce, gdzie na początku lat 90. wywiad realizowano z blisko 90 proc. wylosowanych osób, obecnie w standardowych sondażach opinii, prowadzonych przez ankieterów w domach respondentów (wywiadach osobistych), odsetek ten wynosi poniżej 50 proc. Znacznie gorzej jest w przypadku sondaży telefonicznych: odsetek wylosowanych osób, z którymi udaje się zrealizować wywiad, nie przekracza kilkunastu procent. Nie powinien zatem zaskakiwać żartobliwie-sarkastyczny tytuł książki Ineke Stoop poświęconej zagadnieniu obniżającego się poziomu realizacji, która ukazała się w roku 2005: „The Hunt for the Last Respondent” (Polowanie na ostatniego respondenta).

Niski odsetek realizacji wywiadów nie jest sam w sobie przyczyną błędu. Najistotniejszym zagrożeniem jest to, że nie znamy opinii osób, które nie wzięły udziału w sondażu: czy i na ile różnią się one od opinii osób, które w nich uczestniczą. Jeśli opinie te różnią się, to przy znaczącym odsetku osób nie biorących udziału w sondażu brak odpowiedzi przestaje mieć charakter całkowicie losowy, co oznacza, że wyniki obciążone są błędem systematycznym. Wyniki badań prowadzonych w wielu krajach, w tym również i nasze, wskazują, że pewne kategorie respondentów nie biorą udziału w sondażach: rzadziej uczestniczą w nich ludzie młodzi, pracujący, o przekonaniach prawicowych, mający ograniczone kontakty społeczne oraz osoby nieaktywne politycznie i społecznie, a więc nie biorące udziału w wyborach, nie uczestniczące w życiu publicznym. Jeśli więc problematyka sondażu bezpośrednio lub pośrednio nawiązuje do tych cech, a dotyczy to m.in. sondaży wyborczych, prawdopodobieństwo błędu się zwiększa.

Drugi rodzaj błędu, który związany jest z odwoływaniem się do danych z próby, jest nieodłączną cechą badań sondażowych. Wynika on stąd, że o poglądach populacji (np. mieszkańców Polski w wieku 18 lat i więcej) wypowiadamy się na podstawie przebadania jej niewielkiej części (czyli próby). Należy podkreślić, że związany z tym błąd jest niewielki: przy próbie o liczebności 1000 osób, standardowo stosowanej w badaniach opinii publicznej, nie przekracza on kilku procent, a zwiększenie próby do 2000 osób tylko nieznacznie wpływa na jego zmniejszenie. Operowanie na dużych próbach nie zwiększyłoby wiarygodności wyników.

Kolejny rodzaj błędu, tzw. błąd „pokrycia”, występuje wówczas, gdy część osób należących do populacji nie ma szans znaleźć się w próbie. Praktycznie nie występuje on w sondażach ogólnopolskich, realizowanych z zastosowaniem wywiadu osobistego, do których próba losowana jest z systemu PESEL. Może on być natomiast znaczny w badaniach internetowych, prowadzonych na próbach dorosłych mieszkańców. Przykładowo więc osoby nie mające dostępu do internetu, a wedle danych Eurostatu w roku 2015 tylko 76 proc. gospodarstw domowych w naszym kraju miało do niego dostęp, nie mają szans na udział w sondażach. Są to przede wszystkim ludzie starsi i o niższym poziomie wykształcenia. Jednak np. w badaniach prowadzonych wśród studentów, gdzie, jak można założyć, dostęp do internetu ma 100 proc. populacji, błąd „pokrycia” oczywiście nie wystąpi.

Ostatni rodzaj błędu, błąd pomiaru, związany jest z procesem zbierania danych. Jego głównymi źródłami mogą być: zadawane pytania, błędy respondentów, zastosowana technika zbierania danych oraz ankieterzy. Pytanie może być sformułowane nieprawidłowo, np. w sposób sugerujący odpowiedź. Jest to błąd potencjalnie groźny w skutkach, gdyż to samo sugerujące pytanie zadawane jest wszystkim respondentom, co może zniekształcić wynik całego badania. Jednak w profesjonalnych instytutach badawczych, gdzie pytania układają doświadczeni badacze, prawdopodobieństwo jego wystąpienia jest małe.

Wymieńmy jeszcze kilka innych zagrożeń. Może być nim udzielanie odpowiedzi na pytania ankiety niezgodnych z rzeczywistymi przekonaniami respondenta. Czy jednak rzeczywiście respondenci generalnie mówią nieprawdę? Wybitni amerykańscy socjologowie Norman Bradburn i Seymour Sudman zwracają uwagę, że jeśli ktoś zdecydował się poświęcić czas na udział w sondażu, to zazwyczaj nie po to, aby udzielać nieprawdziwych odpowiedzi. Trudno się z tym nie zgodzić. Oczywiście, nie dotyczy to szczególnych pytań, np. o sprawy drażliwe, oraz szczególnych sytuacji, o czym piszemy dalej.

Źródłem błędu może być również zastosowana technika badawcza. Do wyboru jest kilka technik: ankieterski wywiad osobisty, wywiad telefoniczny, ankieta pocztowa, a od kilkunastu lat także ankieta internetowa. Zaletą ankiet samodzielnie wypełnianych (pocztowe i internetowe) z punktu widzenia błędu pomiaru jest przede wszystkim większe poczucie anonimowości respondentów w porównaniu z wywiadem, zwłaszcza osobistym. W przypadku pytań drażliwych, np. o stan zdrowia czy sprawy intymne, respondenci udzielają w ankietach częściej odpowiedzi „prawdziwych”, zgodnych z rzeczywistymi przekonaniami lub stanem faktycznym. Podobnie jest, gdy chodzi o pytania dotyczące zagadnień, dla których normy społeczne określają, jakie poglądy i zachowania są pożądane, a jakie nie. Do tej ostatniej kategorii, obok spożycia alkoholu, używania narkotyków, antysemityzmu itp., należą także pytania o zamiar uczestnictwa w wyborach, zwłaszcza parlamentarnych i prezydenckich, do czego zachęca wiele autorytetów, w tym Kościół katolicki. W rezultacie wyniki sondaży, w szczególności z za- stosowaniem wywiadu osobistego, konsekwentnie wskazują, że spożycie alkoholu w Polsce jest niskie, zwłaszcza wśród osób mniej wykształconych, a zamiar udziału w wyborach deklaruje znacznie więcej osób, niż pokazują to komunikaty Komisji Wyborczej. Efekt ten wyraźnie słabiej występuje w wywiadach telefonicznych, stwarzających silniejsze poczucie anonimowości w porównaniu z wywiadem osobistym. Dlatego też większość sondaży przedwyborczych prowadzi się przez telefon.

I wreszcie błąd pomiaru związany z osobą ankietera. Polega on przede wszystkim na tzw. efekcie ankieterskim, występującym zwłaszcza w wywiadzie osobistym. Jego głównym źródłem są cechy ankietera, przede wszystkim płeć i wiek (w Stanach Zjednoczonych również i rasa). Część respondentów na ich podstawie antycypuje poglądy ankietera i z uprzejmości udziela takich odpowiedzi, które będą z tymi poglądami zgodne. Dlatego też, jak pokazują wyniki analiz, w wywiadach prowadzonych przez kobiety respondenci częściej nie zgadzają się ze stwierdzeniami redukującymi rolę kobiet do zajęć domowych, a w wywiadach prowadzonych przez ludzi młodych respondenci częściej wygłaszają liberalne poglądy w sprawach etyki seksualnej. Błąd tego rodzaju nie jest jednak bardzo znaczący i dotyczy osób, które nie mają wyraźnie spre- cyzowanej opinii w poruszanych sprawach.

Spośród przedstawionych tu potencjalnych źródeł błędu wyników sondażowych największy niepokój socjologów budzi drastycznie obniżający się w nich udział respondentów. Odsetek zrealizowanej w sondażu próby powszechnie, choć nie do końca słusznie, traktowany jest jako w praktyce jedyny wskaźnik jego jakości. Wzrastająca niechęć do uczestnictwa w sondażach pozostaje w sprzeczności z generalnie pozytywnym stosunkiem polskiego społeczeństwa do nich, przynajmniej na poziomie deklaracji. Społeczeństwo generalnie widzi potrzebę ich prowadzenia i rozumie ich znaczenie w systemie demokratycznym. Wskazują na to wyniki naszych analiz przeprowadzonych po kolejnych badaniach Europejskiego Sondażu Społecznego z 2006 i 2008 roku. Osobom, które uczestniczyły w ESS, oraz takim, które z różnych przyczyn (głównie odmowy i niemożność skontaktowania się) nie wzięły w nim udziału zadano identyczne pytanie: czy zgadzają się, czy też nie zgadzają ze stwierdzeniem: „Sondaże służą całemu społeczeństwu, gdyż wszyscy chcemy wiedzieć, co Polacy myślą i jakie mają opinie w różnych ważnych sprawach”. Spośród osób uczestniczących w sondażu ze stwierdzeniem tym zgodziło się ponad 80 proc., a tylko 3 proc. miało zdanie przeciwne (pozostali nie byli zdecydowani). Jednak co najbardziej interesujące, zgodziło się z nim również 61 proc. osób, które odmówiły udziału w sondażu lub też z innych przyczyn nie wzięły w nim udziału. Przeciwnego zadania było jedynie 11 proc. osób w tej grupie. Warto dodać, że bardzo zbliżone rezultaty uzyskano w analogicznym badaniu w Norwegii. Rezultat ten może stanowić potwierdzenie bardziej generalnego zjawiska: jesteśmy, nie tylko w Polsce, świadomi swoich praw w demokracji, ale nie do końca jesteśmy świadomi wynikających stąd obowiązków.

Amerykański socjolog Hubert Blalock w wydanej w roku 1982 książce („Conceptualization and Measurement in the Social Sciences”) wskazuje analogię między badaniami socjologicznymi a meteorologią, geologią i niektórymi innymi naukami przyrodniczymi. Ze względu na złożony charakter badanych zjawisk i wpływ bardzo wielu czynników na ostateczny rezultat badania trudno jest oczekiwać stuprocentowej ich dokładności. Wracając do sondaży, zakończmy banalną konstatacją: jeśli jako obywatele chcemy mieć rzetelną informację o opiniach społeczeństwa, musimy się pogodzić z poświęceniem czasu na uczestnictwo w nich. Potencjalne nieprawidłowości pracy ankieterów mają mniejsze znaczenie. Listy w sprawie „Sufitowania” czytaj na www.wyborcza.pl/df