Mea culpa Amerikaans peilbureau zou voorbeeld voor onze peilers moeten zijn
Met een heuse persconferentie en een 17-pagina’s tellend rapport trok de prominente opiniepeiler Gallup dinsdag het boetekleed aan voor de foute peilingen voorafgaand aan de Amerikaanse presidentsverkiezingen van november vorig jaar.
Op de dag voor die verkiezingen voorspelde Gallup dat Mitt Romney de verkiezingen met een procent verschil zou winnen. Barack Obama won uiteindelijk met 4 procent verschil. Ook andere peilers hadden het mis, maar de reputatie van Gallup en de omvang van de foute voorspellingen maakten deze verantwoording onvermijdelijk.
Gallup voert vier oorzaken aan. Het bureau maakte een verkeerde inschatting van welke respondenten daadwerkelijk naar de stembus zouden gaan, regio’s die Democratisch stemmen waren ondervertegenwoordigd in de steekproef, etnische groepen waren niet goed gerepresenteerd, en het gebruikte telefoonbestand was verouderd.
De Nederlandse situatie
Voorafgaand aan de Tweede Kamerverkiezingen van september vorig jaar hebben onze peilers ook foute voorspellingen gedaan. Zij zaten er vele zetels naast. Een diepgaande verantwoording waarin zij hun fouten toegeven, met daarbij een gedetailleerde uitleg van hun onderzoeksmethode zoals Gallup deze week doet, kwam er niet.
Maurice de Hond verantwoordde zich wel enigszins. Onder meer via een persbericht en in het tv-programma De Wereld Draait Door legde hij het verschil tussen zijn peilingen en de uitslag uit. Het grote aantal strategische stemmers was volgens hem oorzaak.
Het maximale potentieel van winnaars VVD en PvdA lag in zijn onderzoek veel dichter bij de echte uitslag dan de precieze zetelaantallen die hij voorspelde. De Hond verdedigde zijn foute voorspellingen dus eigenlijk door te stellen dat ze niet fout waren als je zijn onderliggende data over het maximale effect van het strategisch stemmen bekijkt.
Op zich een gedegen verantwoording van De Hond, ware het niet dat het maximale effect van het strategisch stemmen onderbelicht bleef (en blijft) in zijn voorspellingen. Er worden door zowel De Hond als journalisten allerlei stellige conclusies getrokken op basis van exacte zetelaantallen in peilingen, zonder daarbij nuances aan te brengen.
Peilingen als sexy non-nieuws
Neem afgelopen zondag als voorbeeld. De Hond stuurde een persbericht rond waarin hij stelt dat VVD en PvdA op de laagste score staan sinds de Tweede Kamerverkiezingen.
Veel media namen dat letterlijk over. Er wordt door zowel De Hond als de betreffende media geen voorbehoud gemaakt. Zij creëren een eigen werkelijkheid. De grote behoefte aan overtuigende headlines die aandacht trekken speelt vast en zeker mee.
In de peiling van zondag voorspelde De Hond 22 zetels voor de VVD en 18 zetels voor de PvdA. Daar is de conclusie ‘laagste score’ op gebaseerd. Als men daarbij zou melden dat het kiezerspotentieel van VVD en PvdA bij echte verkiezingen hoger kan liggen – tot wel 10 zetels verschil, zoals in september is gebleken – dan klopt de sexy headline niet meer.
De Amerikaanse peiler Gallup gaat diep door het stof om een verschil van 5 procent te verantwoorden. Bij ons worden dergelijke verschillen door peilers en pers met de mantel der commercie bedekt. Achteraf praat men fouten goed met nuances en onderliggende data, maar vooraf trekt men conclusies waarbij die nuances bewust worden genegeerd.
