zahoransky

Drahí čitatelia, po napísaní prvej časti o tom ako fungujú prieskumy verejnej mienky, ako sa robia podvody, ako sa účelovo zasahuje do štatistického skúmania, zaiste som čakal že o problematiku bude pomerne široký záujem. Pôvodne som plánoval napísať druhú časť až po voľbách keďže ide o ďaleko náročnejšiu problematiku. Keď som ovšem dnes čítal prieskum agentúry Focus tak som si povedal že naozaj treba ľuďom otvoriť oči a ukázať ďalšiu veľkú kopu podvodov v praxi ohľadom prieskumov. Priestor pre rôzne vychytralé podvody je veľmi široký, len treba vedieť vo veci chodiť. Mojím cieľom s príspevkami je aspoň trochu ukázať o čo tu ide a ako sa veci majú.

Prvá časť vo svojej podstate hovorila o základných veciach týkajúce sa prieskumov ako takých, čiže aké typy otázok existujú, aké referencie sa skúmajú, základné informácie o štatistických súboroch apod. To by nebolo až tak zaujímavé, lebo v praxi sa používajú rôzne triky na zastieranie, aby na prvý pohľad prieskum vypadal „korektne“, vierohodne, ale pritom to bol podvod ako hrom. Podstata podvodov je na podstatne hlbšej úrovni, a samozrejme ďaleko rafinovanejšie. Manipulovanie so vzorkami, s referenciami je do určitej miery obmedzujúce oproti tomu ako dávajú možnosti testovanie rôznych „sugestívnych“ či subjektívnych hypotéz, ktoré samozrejme interpretáciu výsledku podstatným spôsobom účelovo ovplyvňujú. V tejto druhej časti sa pokúsim ukázať na jednoduchých príkladoch o čo tu ide, aby čitateľ dostal aspoň nejakú predstavu ako sa „hry s číslami“ robia.

Čo sú predvolebné prieskumy z hľadiska štatistiky?

K pochopeniu veci budeme potrebovať niektoré špeciálne poznatky z teórie pravdepodobnosti a štatistiky. Text ktorý tu uvádzam rozhodne NIE JE odborné zdelenie, keďže tieto BLOGy čítajú laici bez potrebného vzdelania. Zaiste preto nemožno z čisto formálneho hľadiska doslovne brať voľne podané interpretácie matematických tvrdení. Najprv uvádzam opis určitého sociologického javu (distribúcie IQ v spoločnosti) na základe obecne známeho teoretického modelu, a potom v druhej časti uvediem zostavovanie opisného modelu na základe empiricky získaných štatistických dát – teda prieskumu verejnej mienky. V tretej časti príspevku sa k tejto problematike ešte raz vrátime.

Opis určitého sociologického javu na základe obecne známeho teoretického modelu

Iste ste mnohí počuli o takzvanej Gaussovej krivke, ktorá predstavuje opis (funkciu hustoty) normálneho rozdelenia pravdepodobnosti. Vyskytuje sa často v mnohých oblastiach praktického i teoretického výskumu. Jej veľmi časté využitie je v sociológii pre modelovanie rôznych sociologických javov. Ako príklad pre jednoduchosť a názornosť vezmime skúmanie IQ a distribúciu inteligencie v populácii. Informácie o nej čitateľ nájde na stránke napríklad:

http://sk.wikipedia.org/wiki/Inteligen%C4%8Dn%C3%BD_kvocient

http://en.wikipedia.org/wiki/Intelligence_quotient

Vo svojej podstate normálne rozdelenie predstavuje teoretický model opisu určitého rozdelenia náhodnej veličiny z praxe – v našom príklade IQ v populácii. Ak robíme konkrétne meranie (IQ testom) a dozvieme sa určitú hodnotu výšky IQ u nejakého respondenta tak táto krivka nám pomôže povedať rôzne charakteristiky informácie. Ak je hodnota bližšie vrcholu „kopca“ tak to znamená že tento respondent má skôr priemernú inteligenciu (IQ) v populácii. Ak nameraná hodnota je viac napravo od „vrcholu kopca“ tak to hovorí že osoba má vyššie IQ ako je priemer. Podobne ak je na ľavo tak má nižšie IQ ako priemer. Ako je vidieť väčšina populácie je v určitom rozmedzí okolo vrcholu. Hovorí to že je vysoko pravdepodobné že náhodne vybraná a otestovaná osoba má IQ niekde okolo „vrcholu“. Čím viac je osoba viac naľavo alebo napravo tak jej početnosť je menšia v populácii. Teda početnosť vysoko inteligentných ľudí je ďaleko menší ako ľudí okolo priemeru.

Samozrejme ak skúmane IQ v určitej krajine, tak najprv musíme zrealizovať hromadné veľké základné testovanie kde otestujeme (pomocou štandardizovaného IQ testu) povedzme pár desiatok tisíc ľudí a vďaka výsledkom aké získame budeme môcť presne nájsť parametre pre určenie normálneho rozdelenia vďaka ktorým sa nájde „predpis“ pre túto krivku. Ak už máme základné testovanie za sebou, máme opísanú základnú distribúciu (škálovanie) v populácii, tak môžeme pristúpiť k testovaniu IQ s akým sa bežne čitateľ stretne. Pri samotnom testovaní IQ u určitej osoby vlastne automaticky predpokladáme že hypotéza korektnosti modelu dáva pravdivú jednoznačnú odpoveď.

Opis určitého sociologického javu na základe empiricky získaných štatistických dát

Na úvod poďme si vysvetliť čo sa deje pri skúmaní preferencií, teda obľúbenosti či sympatií v konkrétnom prieskume verejnej mienky. V tomto prípade štatistické skúmanie je určitá aproximácia, priblíženie sa k teoretickému rozdeleniu (chápané ako štatistické skúmanie na celom súbore populácie) relatívnej početnosti (preferencií) pre politické strany na základe „malého“ výberového súboru respondentov.

Predstavme si, že by sa Boh všetkých voličov opýtal čo by volili. Nech všetci ľudia ktorí sa zúčastnia (alebo uvažujú zúčastniť) volieb by mu povedali pravdivú informáciu. Boh by sa dozvedel presné dáta preferencií voličov. Výsledok skúmania Boha na celej populácii „nazvime“ ako teoretické (absolútne) rozdelenie. Keďže nemáme schopnosti Boha, tak v praxi sme odkázaní na prieskum iba obmedzeného vzorku – štatistického výberu. Agentúra realizujúca štatistický prieskum ovšem postupuje tak že zoberie malú ako tak reprezentatívnu vzorku ľudí a na nej zrealizuje prieskum. Keďže obe skúmania (Boha, agentúry) sú založené na základe rovnakého empirického rozdelenia, tak podľa matematických teorém sa vlastne tvrdí že obe merania pre dostatočne veľkú vybranú vzorku sa od seba príliš veľa nelíšia.

Voľne povedané, ak by som mal prieskum urobený pre 100 000 respondentov pri celkovom počte štyri milióny voličov na Slovensku, tak nanovo prepočítanie relatívnych početností pre jednotlivé strany pridaním jedného respondenta na viac by so samotnými hodnotami pohlo len vo veľmi malej miere. Podobne ak by som pridal 10,000 nových respondentov ktorí sú braní úplne náhodne, a teda sa riadia rovnakým teoretickým rozdelením, tak prepočet relatívnych početností pre súbor 110 000 dát oproti súboru 100 000 dát bude veľmi malý. Otázka teda znie koľko je dostatočný počet respondentov pri celkovom počte 4 milióny všetkých voličov pri ktorých získané relatívne početnosti sú dostatočne výpovedné. V tomto smere počet 1 000 ľudí nie je dostatočne výpovedný a miera nepresnosti môže byť samozrejme pomerne veľká.

Podobne ako v prvom prípade, ak máme urobený prieskum verejnej mienky, tak hovoríme že je vysoko pravdepodobné že keď náhodne oslovíme voliča a opýtame sa na položenú otázku v prieskume, tak je podstatne viac pravdepodobné že povie stranu majúca 40 percentné preferencie ako strana majúca štyri percentá. Samozrejme ak by som zobral 1 000 náhodne vybraných ľudí tak určite je tu nejaká nádej že všetci povedia tú istú, hoc málo preferenčnú stranu. Lenže podľa Zákona veľkých čísel (matematickej teorémy) platí že keď zoberieme dostatočne veľa respondentov tak empirické (korektne objektívne vykonané) skúmanie dá opäť blízke výsledky k teoretickému rozdeleniu. Inak povedané to hovorí že keď by som zobral korektne urobený prieskumu verejnej mienky podľa prvej agentúry a pokladal ho za „ideálnu“ aproximáciu, a vzal náhodne vybraných 10 000 respondentov v rámci Slovenska, tak obe tieto výsledky šetrenia by sa od seba nemali podstatne líšiť.

Zhrnuto povedané, keďže formálny teoretický presný opis (na rozdiel od skúmania IQ v populácii) nie je známy a nevieme aký je vopred pred prieskumom, tak nám v praxi ide o to aby štatistickým skúmaním sme sa čo najpresnejšie a najbližšie priblížili k teoretickému rozdeleniu, aby odchýlka bola čo najmenšia. Inak povedané to hovorí, že keď urobíme konkrétny prieskum verejnej mienky, tak keby sme sa opýtali Boha na presné čísla z teoretického rozdelenia, tak naše namerané hodnoty by od tých ktoré vie Boh by boli dostatočne blízke.

Aký je rozdiel medzi volebnou prognózou a „bežnou“ referenciou?

Položme si teraz záludnú otázku, zohráva volebná účasť zásadnú úlohu? Ak vravím že keď vyjadrí svoj názor 1 000 000 ľudí a povedzme 1 100 000 ľudí, tak výsledné preferencie by mali byť veľmi blízke. Samozrejme z praxe vieme že tomu tak nie je. Volebná prognóza (volebný výsledok) a prieskum volebných preferencií nie je to isté skúmanie – sú zásadne odlišné. Vo volebnej účasti sa z absolútneho elektorátu strany zúčastní iba určité percento sympatizantov určitej strany, čo podstatne deformuje výsledok oproti klasickému prieskumu verejnej mienky. Ak je percento účasti malé pre nejakú stranu tak volebný výsledok neodráža reálny stav preferencií podľa bežného prieskumu – znamená to že daná strana má málo mobilného, nestabilného alebo „tekavého“ voliča. Kým v prípade volebnej prognózy sa zásadným spôsobom zohľadňujú váhy (percento mobility) voliča, v prípade bežného skúmania nie. Podstata veci je teda v tom ako stanoviť váhy tak aby boli objektívne, aby korelovali s reálnymi voľbami. A tu je giga priestor pre podvody – teda pre používanie bulharských konštánt.

Politologické a štatistické hypotézy a korekcia základného štatistického skúmania

Modelovanie preferencií pre politické strany nie je stacionárny jav v čase. Priebeh preferencií z predošlého mesiaca na nový nie je nezávislý. To je podstatná vec lebo vykonať suchý výber „hocijakých“ 1 000 ľudí a na nich sa opýtať čo by volili, dokáže dať veľmi málo validitnej informácie. Aby mal prieskum zmysel musí sa preukázať korektnosť výberu a štatistického výsledku ktorý sa získa – či skutočne meriame to čo sme chceli. V tomto prípade sa to robí tak že sa testujú rôzne štatistické hypotézy a skúmajú sa pri akej úrovni sa akceptuje alebo zavrhuje. Prípadne sa robia vnútorné analýzy štatistických objektov či z rámci ich vnútornej štatistickej štruktúry (vek, pohlavie, vzdelanie …) nedochádza k strate validity testu. Výber ovšem politologických hypotéz a ich overovanie je vo svojej podstate interpretácia výsledku ktorý sme hrubým prieskumom dostali. A žiaľ, tu je ten najväčší priestor pre podvody, teda tie sofistikované formy.

V celom tomto texte budem rozlišovať medzi politologickou a štatistickou hypotézou. Kým pod štatistickou hypotézou rozumiem korektne formulované „matematické“ tvrdenie ktoré overujem alebo zavrhujem štatistickým skúmaním – nástrojmi matematickej štatistiky, pod politologickou hypotézou rozumiem tvrdenie čisto politologického aspektu o platnosti alebo neplatnosti sa uvažuje v zmysle nástrojov politológie.

Z tohto ohľadu ak vravíme že určitá politická strana má preferencie trebars 10 percent tak vlastne testujeme hypotézu či je miera presnosti určenia jej preferencií v intervale povedzme 9,6 – 10,4 percent, teda že zavrhujeme tvrdenie že by táto strana mohla mať preferencie mimo tohto intervalu na miere vierohodnosti napríklad aspoň 90 percent. Teda hovoríme že s mierou „presnosti“ aspoň 90 percent je stanovený interval „správny“. Ak z štatistickej analýzy vyplynie že platí naša hypotéza, tak opäť je javiac pravdepodobné že jej skutočné preferencie sú v strede tohto intervalu, teda 10 percent. Z tohto ohľadu teda nemožno preferencie udávať v suchom čísle percent, ale v hodnote stredu intervalu a polomeru. Samozrejme, pre bežného čitateľa by takáto informácia bola ťažko stráviteľná a preto sa udáva iba suché číslo, a hlavne, robí sa určitá interpretácia týchto čísel.

Ovšem samozrejme v praxi by sme si len s týmito dvomi číslami (stred intervalu a polomer) nevystačili lebo celkovo podané čísla treba vedieť následne správne interpretovať – teda povedať ktorá politologická skúmaná hypotéza je s ohľadom na rôzne referencie pravdivá. Hneď treba rozlíšiť medzi dvomi typmi hypotéz. Tie ktoré sa týkajú interpretácie či skúmania validity, reliability či korektnosti skúmania ako takého, a druhé, hypotézy na základe výstupu či výsledkov skúmania ako takých. Tu hovoríme o prvom prípade. Tu sa skúmajú často tieto v princípe subjektívne hypotézy:

Je určitá strana v danom časovom úseku úspešná, neúspešná (v kríze) alebo v stabilnom nemennom stave? Do akej miery úspešnosti je možné ohodnotiť jej aktuálne (na určitom časovom úseku) správanie?

Ak v určitom časovom úseku nastala určitá udalosť, je pravda že táto udalosť môže mať dopad v posune preferencií (v strate alebo získaní)?

Je strana v danom časovom úseku aktívna alebo len „prežíva“? Je jej líder alebo štruktúry v rámci regiónov vyvíjajúce určitú činnosť ktorá by na mediálny obraz alebo povedomie malo dopad v posune preferencií?

Ak je strana v niektorej z týchto hypotéz ohodnotená pozitívne subjektom ktorý prieskum realizuje alebo vyhodnocuje, tak sa zoberie podľa určitej váhy číslo skôr k pravému okraju intervalu (zhora), teda vyššie preferencie. Ak je negatívna tak sa vezme skôr číslo k ľavému okraju intervalu (zdola). Podobne ak je v nemennom stabilnom stave tak sa berie stred.

Zaiste pozorný čitateľ si kladie otázku ako sa v praxi konkrétne realizujú tieto „hry s číslami“ – teda interpretácie na základe zohľadňovania týchto rôznych hypotéz. Väčšina agentúr vlastní určitý štatistický software ktorý používajú na realizáciu prieskumu verejnej mienky. Okrem tohto základného software vlastnia určitý modul ktorý je práve robený na štatistické skúmanie prieskumov verejnej mienky vrátane na „postprodukciu“, teda na tvorbu interpretácií výsledkov či „hry s číslami“ – interpretáciu výsledkov. Tieto aplikácie obsahujú možnosť do políčok naťukať parametre či váhy a následne po stlačení tlačidla prebehne procedúra ktorá na základe výsledkov zberu dát to celé prepočíta. Štatistický software sám o sebe neskúma politologickú hypotézu či je pravdivá alebo nie, vierohodná alebo nie, korektná alebo nie, len realizuje také procedúry aké užívateľ mu zadáva urobiť. Podobne výbery štatistickej hypotézy software explicitne neoveruje či sú nezávislé, korektné alebo nie.

PODVODY – Hneď príde prvá možnosť – teda keď sa zamieňa následok s príčinou, teda zamieňajú sa hypotézy voči výsledku skúmania so „systémovými“ vnútornými hypotézami štatistického skúmania. Inak povedané, keď hypotézy ktoré majú byť potvrdené alebo zamietnuté na základe objektívneho štatistického skúmania ako takého sa „zabudujú“ do interpretácie a cez „upravené“ parametre sa tendenčne manipuluje s vyhodnocovaním štatistického skúmania ako takého.

Samozrejme ako je hneď jasne viditeľné, základ týchto podvodov ohľadom prieskumov verejnej mienky spočíva v tom že sa cez podvodné zdanlivé hypotézy upravujú získané výsledky štatistického skúmania tak ako skúmajúcemu účelovo vyhovuje. Seriózny protokol o vykonaní štatistického skúmania musí presne obsahovať informácie o tom aké štatistické hypotézy sa použili s preukázaním ich validity a korektnosti, ako sa zostavovali parametre pre rôzne procedúry. Podobne ako sú zostavené váhy a na základe akých objektívnych meraní či výpočtov boli takto stanovené.

Podobne podvody sú založené na tom, že miera presnosti určenia intervalu preferencií zavrhovania resp. akceptovania hypotézy či určitá strana (ne)mohla mať preferencie mimo intervalu vierohodnosti je príliš malé číslo – trebarz 60 percent. A samozrejme následne cez podvodne zvolené váhy sa „posúvajú“ preferencie od jednej strany k iným. Samozrejme rýdzo podľa toho ako to agentúre účelovo vyhovuje.

Podobne sa v praxi robieva podvod na princípe dvoch podstatne prekrývajúcich tvrdení kde „prienik“ je veľký, ale ovšem jedno tvrdenie podmieňuje odpoveď (výpoveď) voči druhému tvrdeniu, alebo jedno tvrdenie určitým spôsobom popiera platnosť druhého. V takom prípade ak treba účelovo vyhovieť pre prvú hypotézu tak sa vezme prekrytie na jednu stranu, ak druhú, tak sa vezme na druhú stranu.

Podobne sa cez štatistické software robia podvody tým že sa vezmú dve strany majúce podobného (blízkeho) voliča v určitých aspektoch (napr. SNS a KDH), pre obe strany sa spočíta polomer vierohodnosti intervalov, pričom hodnotovo sa obe „prekryjú“. V tom prípade hovoríme že prienik podstatne skresľuje ohodnotenie oboch strán. Samozrejme, podvodne sa jednej „prenik“ započíta a druhej nie. Z formálneho hľadiska prienik buď v modeli nemá nastať vôbec alebo v minimálne možnej miere. Samozrejme, v praxi pri „anonymných“ prieskumoch sa to čitateľ nedozvie či je opisný model korektný alebo nie.

Ako podvodom predchádzať? Ako zaručiť to aby verejnosť dostala objektívne informácie?

Tejto problematike som sa do značnej miery venoval v prvej časti. Vzhľadom na povedané ohľadom testovania štatistických hypotéz si myslím, že mal by tu byť štandardizovaný (certifikovaný) modul na realizáciu testovania hypotéz. Tak isto v protokole k prieskumu verejnej mienky musí byť jasne uvedené aké sú výsledky základného zberu dát a čo sú výsledky skúmania na základe testovania hypotéz. Aké hypotézy boli testované a na základe čoho a ako boli stanovené váhy či parametre.

Na záver, o problematike testovania politologických či štatistických hypotéz a následne možnosti pre rôzne podvodné aktivity sa dá hovoriť celé hodiny a hodiny. Cieľom príspevkov samozrejme nemôže byť úplnosť možných podvodov vyskytujúce sa v praxi. Skôr to má viesť k tomu aby čitateľ pochopil o čo tu ide, ako veci fungujú. Cieľom je aspoň na konkrétnych názorných ukážkach predviesť problematiku tak prieskumov a tak aj možností pre nekorektné subjektívne zásahy. Zaiste v príspevkoch sme ani zďaleka nevyčerpali problematiku rôznych sekundárnych štatistických analýz, rôzne korelácie výsledkov skúmania na časovom úseku, rôzne faktorové analýzy ako podklady pre testovanie parametrov pre volebné prognózy apod. Zaiste s postupom času som otvorený pre čitateľov aj túto problematiku predostrieť. Samozrejme, každý ďalší článok so sebou prináša potrebu predloženia tak teoretického výkladu určitých poznatkov a tak aj konkrétne ukážky. Zaiste všetkým čitateľom ďakujem za prečítanie tejto druhej časti.