Marcin Kozłowski, Gazeta.pl: Na początek zagadka. Zgadza się pan? Obiecuję, że nie będzie trudna.
Dr hab. Adam Gendźwiłł*: Bardzo proszę.
Co powiedzieli zapytani o sondaże: anonimowy polityk PO w "Rzeczpospolitej" w wydaniu z 20 marca, lider Agrounii Michał Kołodziejczak w wywiadzie z 6 marca dla portalu "Czas na Opole" i sekretarz generalny PiS Krzysztof Sobolewski w maju 2020 r. przed wyborami prezydenckimi?
"Sondaże kłamią"?
Proszę próbować dalej.
"Mamy swoje sondaże"?
Również nie. Poprawna odpowiedź to "nie patrzymy na sondaże".
A! No tak, to jeden ze standardowych tekstów.
Politycy lubią mówić, że prawdziwy sondaż odbywa się w dniu wyborów, a badaniami się nie przejmują. Wierzy im Pan?
Nie do końca, oczywiście, bo o sondażach mówi się w mediach i w pewnym sensie zaczynają żyć swoim życiem. Uwiarygadniają niektóre partie polityczne albo stawiają je pod ścianą. Wyniki sondaży pozwalają też przewidzieć, kogo i o co dziennikarze będą pytać.
Natomiast zdrowym sceptycyzmem jest to, że polityk nie traktuje sondażu jak wyroczni. Gdyby tak było, to wybory byłyby w zasadzie niepotrzebne. Po prostu robilibyśmy sobie sondaże, żeby zdecydować, czy rządzący mają rządzić dalej i do kogo powinno należeć przywództwo na opozycji.
Miałbym bardzo mało zaufania do polityka, który twierdziłby po lekturze wyników sondaży, że wszystko jest pozamiatane, że nie ma sensu w ogóle jechać w teren, że nie ma sensu wychodzić do wyborców, że w zasadzie nie da się ich przekonać, bo sondaże mówią przecież to lub tamto.
Trudno mi uwierzyć w to, że jeśli poparcie dla partii X spada nagle o kilka punktów procentowych, to wśród działaczy nie pojawia się niepokój, a czasem i popłoch.
Jak najbardziej, dobrze, że się pojawia. Może się też pojawić w związku z tym dodatkowa mobilizacja.
Jeśli politycy dostają następujące po sobie sygnały świadczące o spadku notowań, jest to konsekwencją tego, że np. podjęli jakąś niepopularną decyzję i ponoszą jej koszty. Natomiast wydaje mi się, że gdyby politycy rzeczywiście uznawali, że sondaż jest czymś decydującym, to wtedy nie ścigaliby się tak o nasze głosy w kampanii wyborczej.
Zwróćmy też uwagę, że w Polsce, podobnie jak w innych krajach postkomunistycznych, partie polityczne mają stosunkowo słabe struktury w terenie. W związku z tym brakuje im "nasłuchu społecznego", podobnego do tego który przez wiele lat budowały sobie niektóre masowe partie w starszych demokracjach na zachodzie Europy. I sondaże są właśnie takim rodzajem nasłuchu, szczególnie potrzebnym wtedy, kiedy partie są małe i słabe, bo to jest czasem jedyny rodzaj kontaktu z masowym elektoratem.
Dlatego sondaże są niezwykle cennym źródłem informacji, bo one pozwalają pokazać politykom, co myślą tzw. zwykli ludzie.
Panie profesorze, przyjrzyjmy się dla przykładu jednemu z sondaży. Weźmy np. marcowy sondaż IBSP dla portalu Stan Polityki. PiS - 37,89 proc., KO - 30,65 proc., Konfederacja - 9,96 proc., Polska 2050 - 8,44 proc., Lewica - 7,67 proc. i PSL poniżej progu wyborczego - 3,26 proc.
Czy można przyjąć po prostu, że gdyby wybory odbyły się na kilka dni po przeprowadzeniu tego badania, to uzyskalibyśmy bardzo podobne wyniki?
Zacznijmy od tego, że sondaż jest oparty o reguły statystyki, a w statystyce praktycznie nic nie jest na 100 proc. Jedyne, co możemy stwierdzić na 100 proc., to to, że ten zestaw konkretnych partii został poddany badaniu. Wyczytamy to z raportu firmy badającej opinię publiczną.
Pamiętajmy, że każdy sondaż to pewna stopklatka tego, co dzieje się tu i teraz w elektoracie. Poparcie poszczególnych partii ewoluuje praktycznie do samego dnia wyborów. Proponuję zrobić bardzo proste ćwiczenie: zerknąć do sondaży wykonanych na kilka miesięcy przed wyborami do Sejmu w 2019 lub w 2015 r. i porównać to z ostatecznymi wynikami. Pokazuje to, że jeszcze wiele może się zmienić.
Pamiętajmy też, że sondaże mówią o tym, że poparcie tak naprawdę nie wynosi X procent, tylko że z dużą pewnością mieści się w pewnym przedziale. W prezentowanych wynikach zwykle uwzględnia się środek tego przedziału, by łatwiej było to graficznie zaprezentować.
Mówi pan o przedziale ufności?
Dokładnie tak, czasem tę niepewność nazywa się błędem sondażowym, choć na całkowity błąd sondażu składa się jeszcze kilka innych elementów. Przedział ufności wokół szacowanego poparcia jakiejś partii oznacza, że z dużym prawdopodobieństwem możemy stwierdzić, że jej poparcie mieści się pewnych widełkach. Zwykle one wynoszą plus minus 2-3 punkty procentowe przy próbie losowej obejmującej około 1000 respondentów.
Ten błąd szacowania związany jest z tym, że chcemy powiedzieć coś o populacji, o ponad 30 milionach Polaków, a badamy tylko ich małą próbę - około tysiąca osób. Pamiętajmy, że to jest tysiąc respondentów, którzy w ogóle wzięli udział w sondażu. Spośród nich mniej więcej 30-40 proc. to są ludzie, którzy deklarują, że w ogóle nie zagłosują. Zostaje nam więc 600-700 osób, dla których jesteśmy w stanie określić preferencje partyjne.
Innym źródłem błędu jest to, że ludzie, których numery telefonu zostały wylosowane do udziału w sondażu, bardzo często nie zgadzają się na przeprowadzenie wywiadu. Może być na przykład tak, że ludzie reprezentujący elektorat pewnych partii są mniej skłonni do udzielania odpowiedzi.
Nie wszyscy ankietowani są też skłonni mówić prawdę. Znane są zjawiska sondażowe polegające na tym, że ludzie np. dużo częściej przyznają się do zachowań, które są dobrze widziane. Dotyczy to chociażby szacowania frekwencji. Ta deklarowana w tydzień czy dwa tygodnie po wyborach jest zwykle o kilka lub kilkanaście punktów procent wyższa od tej realnej. Podobnie jest z poparciem niektórych partii, które mogą być uważane za ekstremistyczne, zbyt skrajne albo takie, których popieranie jest w jakimś środowisku wstydliwe. Sondaż bazuje na rozmowie - nie zawsze rozmawiając z ludźmi, zwłaszcza nieznajomymi, mówimy całą prawdę.
Jeżeli partia X uzyskała w sondażu 6-7 proc. a partia Y - 3 procent, to może stać się tak, że w dniu wyborów to ugrupowanie Y, a nie X przekroczy 5-procentowy próg?
Tak, istnieje takie prawdopodobieństwo.
Często słyszymy lub czytamy, że jakaś partia nie zdobędzie mandatów, bo w sondażu uzyskuje wynik tuż pod ustawowym progiem. Tymczasem sondaż mówi jedynie, że jest to najbardziej prawdopodobny scenariusz. Wciąż mimo to istnieje szansa, i ona wcale nie musi być mała, że ta partia będzie jednak uczestniczyć w podziale mandatów.
Podobnie jest z kwestią przeliczania poparcia na mandaty, a co za tym idzie - większością lub brakiem większości w Sejmie. W artykułach o sondażach pojawiają się takie wyliczenia z dokładnością do jednego sejmowego fotela. I to także daje nam złudne poczucie pewności.
Po opublikowanym w marcu pierwszym sondażu obywatelskim zrealizowanym przez Kantar Public na zlecenie Fundacji Forum Długiego Stołu [kolejne badanie zostało opublikowane 26 czerwca - red.] przeliczyłem te wyniki na mandaty tysiąc razy, zakładając, że faktycznie zrealizowany sondaż pokazał jeden z możliwych rozkładów, ale podobne do niego rozkłady głosów też są możliwe. I znaczna część z takich symulowanych rozkładów mandatów - około 45 proc. - wskazywała, że PiS nie miałoby szans na rządzenie nawet w koalicji z Konfederacją. To kontrastuje trochę z alarmistyczną wymową oszacowań punktowych mówiących o "pewnym zwycięstwie". Musimy patrzeć na sondaże jako na pewne oszacowanie. Wokół tego oszacowania zawsze jest jeszcze wiele innych prawdopodobnych szacunków i nie możemy ich tracić z oczu przeliczając poparcie na mandaty.
Pamiętajmy, że statystyka działa, gdy analizowane wyniki są oparte na odpowiedziach udzielonych przez reprezentatywną próbę społeczeństwa, a nie jakąś grupę ochotników, jak w niektórych sondach internetowych. Wszystkie firmy badawcze starają, żeby to były próby losowe, albo żeby miały takie właściwości jak próba losowa. Wówczas możemy stwierdzić, że to dobre oszacowanie tego, co dzieje się rzeczywiście wśród tych ok. 30 milionów obywateli.
Próba losowa, to znaczy jaka?
Wyobraźmy sobie sytuację, że ankieterzy stoją na peronie na dworcu i pytają przechodniów o opinię. W takiej sytuacji nie ma mowy o próbie losowej, bo będziemy mieli nadreprezentację podróżnych albo osób pracujących. A nie będziemy wiedzieli, co myślą ci, którzy zostają w domach lub po prostu nie mają potrzeby podróżowania.
Dlatego uczestników badań losuje się np. ze spisu ludności albo dzwoni się do nich pod losowo wybranymi numerami telefonicznymi. To gwarantuje, że ocena popularności polityków czy partii politycznych będą dobrymi szacunkami tego, co się dzieje w całej populacji.
Oczywiście to nigdy nie jest idealne, są potrzebne różnego rodzaju korekty związane z tym, że nie wszyscy respondenci są dostępni, że czasem odmawiają badaczom w sposób nielosowy. Ludzie coraz mniej chętnie spotykają się z ankieterami twarzą w twarz, a w przypadku badań telefonicznych niektórzy mają więcej niż jeden telefon, co zwiększa prawdopodobieństwo ich wylosowania.
Jeżeli uzyskamy losową próbę, to skład tej losowej próby powinien nam odwzorować proporcje różnych kategorii w społeczeństwie, zarówno pod względem płci, jak i pod względem wieku, wykształcenia, miejsca zamieszkania itp. Gdy to się nie udaje - na przykład ze względu na odmowy udziału w badaniu - wprowadza się tzw. ważenie respondentów. W praktyce oznacza to, że głos osób należących do kategorii niedoreprezentowanych w zrealizowanej próbie jest więcej wart, liczy się nieco więcej.
Czasem badacze posługują się tzw. próbami kwotowymi, które są gorszej jakości niż typowe próby losowe.
Dlaczego gorszej?
W próbie kwotowej ustala się z góry proporcje różnych kategorii społecznych, tak żeby taka próba była "miniaturką" społeczeństwa. Na przykład, że w próbie musi być mniej więcej taki sam odsetek kobiet i mężczyzn, jak w populacji, taki sam odsetek osób młodych, starszych i tak dalej. Żeby wypełnić limit dla niektórych kategorii badacze muszą się bardziej natrudzić, bo jest w nich więcej odmów udziału w badaniu. Poza tym, nigdy nie mamy pewności, czy konstruując próbę nie pominęliśmy jakiejś kategorii lub jakiejś ważnej cechy.
Panie profesorze, często na samym dole artykułów o sondażach pojawiają się informacje o metodach. CATI, CAPI i CAWI, czyli odpowiednio: badanie przeprowadzane telefonicznie, osobiście przez ankietera lub przez internet. Czy któraś z tych metod daje bardziej wiarygodne wyniki od pozostałych?
To trudne pytanie. Trwa na ten temat duża dyskusja w branży i wśród badaczy.
Przez wiele lat za najlepsze uchodziły badania przeprowadzane osobiście przez ankieterów, którzy chodzili po domach. Problem w tym, że takie badania są bardzo pracochłonne, wymagają niekiedy wielu prób kontaktu z osobami, które często nie mieszkają pod swoim adresem. Zwłaszcza po pandemii coraz częstszym zjawiskiem są odmowy respondentów, nawet jeżeli wcześniej dostają zaproszenia. Takie badania odchodzą już do przeszłości, chyba bezpowrotnie, przeprowadza się ich coraz mniej.
Najpopularniejsze są teraz badania CATI, czyli telefoniczne. Te badania realizowane są w call centers, gdzie ankieterzy siedzą w słuchawkach i dzwonią do respondentów. Kiedyś dzwoniono tylko na numery stacjonarne, teraz również do abonentów sieci komórkowych.
No i rozwija się również gałąź badań przez internet, które pozwalają respondentom wypełniać ankiety na ekranach swoich telefonów, komputerów i tabletów. Tutaj problemem jest to, że często są to badania oparte o samodzielną rekrutację. To oznacza, że uczestnicy sami zgłaszają się do udziału w badaniu, zapisują się do tzw. panelu badawczego, bo za wypełnianie ankiet otrzymują potem punkty i nagrody. To nie są próby, które dobrze odwzorowują strukturę społeczno-demograficzną polskiego społeczeństwa.
Teraz próbuje się skonstruować nowe metody, która brałyby to, co najlepsze, z każdej z tych metod. Rekrutacja uczestników odbywa się w nich offline, próbuje się namówić ich do wzięcia udziału w badaniach, które są potem realizowane przez internet. A jeśli ktoś nie miałby odpowiedniego urządzenia, firny badawcze wypożyczają sprzęt, np. tablet. W przypadku, gdyby to były np. osoby starsze niekorzystające z internetu, można byłoby je wydzwaniać i uzupełniać wyniki.
Myślę, że jesteśmy w przełomowym momencie, jeśli chodzi o wykorzystanie różnych technologicznych nowinek w realizacji sondaży, w tym politycznych. One potrzebują lepszych, bardziej reprezentatywnych prób niż większość badań marketingowych prowadzonych przez te same firmy badawcze.
Jak to jest, że czasem w ciągu jednego lub dwóch dni pojawiają się dwa sondaże z bardzo różniącymi się od siebie wynikami? Czy to znaczy, że któryś z nich został przeprowadzony nieprawidłowo?
Niekoniecznie. Najpierw wykonajmy ćwiczenie i policzmy, czy odsetki poparcia dla poszczególnych partii w jednym i drugim sondażu sumują się do 100 proc. Niektóre sondażownie nie prezentują wyników mniejszych partii lub odpowiedzi "inna partia", "nie wiem", "odmawiam odpowiedzi" itp. Nie prezentują tych wszystkich wyników na słupkach, ale też nie zmieniają też podstawy procentowania, co sprawia, że słupki z wykresów się nie sumują do 100 proc.
Inne sondażownie z kolei przeliczają wyniki ugrupowań tak, by sumowały się do 100. Dlatego też ten pierwszy sondaż będzie najpewniej zaniżać, a drugi - zawyżać poparcie poszczególnych partii.
Poza tym, istnieje możliwość, że w dwóch różnych sondażach w inny sposób zadawano pytania.
W inny sposób?
Chociażby w taki, że odpowiedź "inna partia" była wyczytywana przez ankietera jako jako pełnoprawna alternatywa wraz z zestawem wszystkich pozostałych partii. Z badań wiemy, że ludzie wtedy są bardziej skłonni wybierać taką alternatywę. A na karcie do głosowania nie ma przecież czegoś takiego jak "inna partia" albo "nie wiem".
Niektóre badania mają podejrzanie wysokie odsetki badanych, twierdzących, że zagłosują na inne ugrupowania, nawet rzędu 10-15 proc. To jest swego rodzaju odpowiedź ucieczkowa, nie wiemy, co ci wyborcy zrobią, czy w ogóle nie zagłosują, a może oddadzą nieważny głos, czy może rzeczywiście poprą którąś z partii.
Różnice między poszczególnymi sondażami biorą się również ze sposobu pytania o preferencje partyjne, w odniesieniu do pytania o uczestnictwo w wyborach.
Scenariusz wywiadu sondażowego zakłada, że najpierw pytamy, czy badany zagłosuje. Potem pytamy o preferencje partyjne tych, którzy zadeklarowali, że pójdą do urn. Czasem jeszcze pyta się ludzi, jak bardzo są pewni, że w ogóle zagłosują. I niektóre sondażownie podają rozkłady poparcia odnoszące się do osób, które zadeklarowały udział w wyborach "na pewno" lub "raczej". A niektóre mogą podawać odpowiedzi tylko tych wyborców, którzy na 100 proc. zagłosują. I te rozkłady mogą się różnić.
Często słyszy się, że pracownia X jest ok, a pracownia Y niezbyt, bo ta pierwsza jest obiektywna, a ta druga jest "Na usługach" jakiegoś ugrupowania. Czy odbiorca ma w ogóle możliwość samodzielnego zweryfikowania, jaka jest prawda i czy dany sondaż jest wiarygodny?
Sondażowniom raczej zależy na tym, żeby robić dobre badania, bo z tego się utrzymują. Jeżeli będą robić sondaże, które będą słabo przystawały do rzeczywistości lub tendencyjnie odstawały w jedną stronę od wyników pozostałych firm na rynku, to prędzej czy później obróci się to przeciwko nim. Sondaże wyborcze mają to do siebie, że w końcu przychodzi weryfikacja - można je porównać z wynikami wyborów.
Na pewno warto zwracać uwagę na to, czy dana firma posiada branżowy certyfikat OFBOR. Warto też zajrzeć do starych wyników sondaży i sprawdzić, na ile poszczególnym firmom sondażowym udawało się przewidzieć wyniki np. w 2019 i 2015 r. Najlepiej brać w tych porównaniach pod uwagę badania, które były wykonane możliwie najbliżej wyborów.
Zachęcam do zerknięcia na stronę Centrum Badań Ilościowych nad Polityką Uniwersytetu Jagiellońskiego. Publikowane są tam zestawienia wyników badań i porównania z faktycznymi wynikami. Centrum przyznaje najlepszym sondażowniom "puchar Pytii" za najtrafniejsze oszacowania.
Na jak długo przed wyborami sondaże zaczną odwzorowywać mniej więcej to, co wydarzy się w dniu wyborów? Kiedy można stwierdzić, że sytuacja jest już w miarę ustabilizowana i będziemy wiedzieli, jaki będzie prawdopodobny rozkład mandatów?
Oczywiście im bliżej wyborów, tym lepiej i tym mniejszy będzie odsetek osób niezdecydowanych. Niedługo przed wyborami dochodzi też do różnych procesów, opisywanych przez badania wyborcze, m.in. przerzucania swojego poparcia z partii pierwszego wyboru na ugrupowanie, które ma większą szansę na zwycięstwo. Opisano też efekt polegający na tym, że niektórzy wyborcy decydują się na popieranie partii, której grozi nieprzekroczenie progu, bo zwyczajnie jest im jej szkoda.
Nasza scena partyjna wcale nie jest tak zabetonowana, jak mogłoby się wydawać. Kiedy popatrzymy na historię poprzednich wyborów parlamentarnych, to zorientujemy się, że czasem w ostatnim momencie zmieniał się trochę zestaw partii, na które można było oddać głos. To nie pozostaje bez znaczenia, bo zawsze może powstać jakieś ugrupowanie, które będzie dodatkowo uwzględniane w badaniach, albo już istniejące partie zawiążą coś na kształt koalicji.
Wiele badań pokazuje, że sondaże od pół roku do trzech miesięcy przed wyborami zaczynają dopiero dostarczać wartościowych informacji co do tego, jak mogłaby wyglądać scena polityczna po wyborach. Myślę, że teraz dopiero wchodzimy w ten ważny okres. Z tym zastrzeżeniem oczywiście, że dalej nie mamy jeszcze i pewnie przez jakiś czas nie będziemy mieli oficjalnej listy podmiotów, które wystawią swoich kandydatów.
A może zakazać w ogóle publikacji sondaży przed wyborami? Miałoby to sens?
Trudno mi sobie wyobrazić egzekwowanie tego zakazu. Dostęp do informacji w internecie jest obecnie właściwie nieograniczony.
Załóżmy na potrzeby naszej rozmowy, że byłoby to jednak możliwe.
Nie jestem zwolennikiem takich rozwiązań. Sondaże dostarczają informacji społeczeństwu o rozkładzie opinii. I to pomaga nam podejmować decyzje. Żyjemy w społeczeństwie i opinia publiczna jest tym, na co się oglądamy. To jest naturalny proces.
Mam jedno zastrzeżenie: nie może być tak, że tylko pewien rodzaj informacji sondażowych jest wzmacniany w przekazie medialnym, albo że niektóre sondaże nie mogą ujrzeć światła dziennego. Ważne jest to, żeby scena publiczna była pluralistyczna, a media i ośrodki badawcze - niezależne.
Zostawmy naukę i porozmawiajmy przez chwilę o zwykłym Kowalskim. Czy jest coś, co pana zaskakuje, jeśli chodzi o odbiór sondaży przez obywateli?
Mam wrażenie, że na sondaże patrzy się zbyt czarno-biało. Albo mamy poczucie, że one są niemalże wyrocznią, albo uważamy, że sondaże kłamią. Jesteśmy pomiędzy tymi dwoma ścianami, podczas gdy po prostu musimy chyba przyjąć do wiadomości, że to jest jeden z rodzajów narzędzia pomiarowego. Nawet przedstawiciele nauk ścisłych swoje pomiary określają z pewną niepewnością, chociaż dysponują przecież doskonałymi, czułymi instrumentami. Najbardziej zaskakuje mnie to, że tak bardzo chcemy usunąć tę niepewność z horyzontu.
Ma pan jakiś swój "ulubiony" najdziwniejszy sondaż z przeszłości?
Na pewno ciekawym przykładem był sondaż, w którym "Ruch Samorządowy Tak! Dla Polski" był uwzględniony jako jedna z opcji i miał bardzo duże poparcie [mowa o styczniowym sondażu SW Research dla "Rzeczpospolitej", w którym ruch uzyskał 10,7 proc. - red.].
Pamiętam ten sondaż. W pytaniu dodawano imię i nazwisko Rafała Trzaskowskiego, który jest związany z ruchem. I prawdopodobnie to dzięki temu stowarzyszenie uzyskało tak wysoki wynik.
Tak, to ma znaczenie, jakkolwiek nie podoba mi się sprowadzanie partii politycznych wyłącznie do ich liderów. Zauważmy, że np. w opisywanym w marcu sondażu obywatelskim pytano o Polskę 2050, a nie Polskę 2050 Szymona Hołowni, która jest pełnoprawną nazwą. Ugrupowanie uzyskało tam 6,9 proc. poparcia. Można przypuszczać, że gdyby uwzględniono nazwisko lidera, ten wynik byłby nieco wyższy.
Takie przykłady pokazują, że nawet drobiazgi mogą mieć istotny wpływ na wyniki sondaży. I jako krytyczni odbiorcy za każdym razem musimy mieć to w tyle głowy.
*Dr hab. Adam Gendźwiłł jest politologiem, socjologiem i geografem, związanym z Katedrą Rozwoju i Polityki Lokalnej na Wydziale Geografii i Studiów Regionalnych Uniwersytetu Warszawskiego. W swojej pracy naukowej skupia się na tematach dotyczących m.in. metod badań społecznych, wyborów i partycypacji politycznej. Ekspert Fundacji Batorego.
