PVV in de peilingen
Opiniepeilers zitten er regelmatig fors naast, maar dat is vaak al snel weer vergeten. Denk aan de peilingen over de winst van de PVV (van 9 naar 24 zetels). Die was sterk onderschat door de opiniepeilers. Een dag na de verkiezingen was er nog enige aandacht voor de missers van TNS NIPO (PVV: 18 zetels), Maurice de Hond (18) en Synovate (17), maar al snel verstomde de kritiek. De Hond geeft op zijn website uitleg waarom hij voor de tweede keer de PVV-zetels flink heeft onderschat, maar stelt daarbij dat in de toekomst alles veel beter zal zijn. Hij sluit zijn ‘zelfstudie’ af met de zin: “Vanzelfsprekend is in de peilingen die vanaf heden worden uitgevoerd de ervaringen van deze verkiezingen in de nieuwe wegings- en correctiefactoren meegenomen.” Vervolgens publiceert hij op dezelfde voet nieuwe opiniepeilingen: “Oranje WK2010 na Japan” (22-06-2010), “Oranje wordt laag beoordeeld, toch optimisme. Elia moet in volgende wedstrijd in basis.” (15-06-2010).
Representativiteit
Waar gaat het mis bij de peilingen? Daar zijn tal van redenen voor te geven, één daarvan is de manier waarop de steekproef wordt samengesteld. Een goede steekproef is representatief voor de populatie. In het geval van de verkiezingen bestaat de populatie uit alle stemgerechtigde Nederlanders. Zoals Jelke Betlehem (2010) aangeeft dient een representatieve steekproef een miniatuur te zijn van die populatie. Idealiter wordt een kanssteekproef samengesteld door willekeurig een trekking te doen uit de totale populatie, bijvoorbeeld op basis van de Gemeentelijke Basis Administratie; zie Knoef en de Vos (2010) voor een voorbeeld. Bij het grote publiek wordt representatief vooral gezien als synoniem voor goed en betrouwbaar. Echter, zonder aan te geven waar de representativiteit precies op slaat, is het begrip ‘leeg’ en nietszeggend.
Online panels
In toenemende mate vindt gegevensverzameling via internet plaats. Online enquêteren is snel en daarom geschikt voor actuele onderwerpen. Echter, met een online enquête bereik je geen aselecte steekproef van Nederlanders, omdat nog altijd ongeveer 15% geen internettoegang heeft (http://www.internetworldstats.com). En deze niet-internethuishoudens verschillen substantieel van Nederlanders met internet (Leenheer en Scherpenzeel, 2010). Uitspraken die vervolgens over de gehele Nederlandse bevolking gaan, kunnen significant vertekend zijn, zelfs na een correctie door middel van weging (Zhang et al., 2008). In het CentERpanel alsmede het LISS panel (beide beheerd door CentERdata) wordt aan niet-internethuishoudens internetttoegang gegeven om ze zodoende te incorporeren in de panels. Het dekkingsprobleem, waarvan sprake is in vrijwel alle (commerciële) online access en volunteer panels, is daarmee opgelost. Zie Scherpenzeel en Das (2010).
Zelfselectie
Een tweede probleem is dat respondenten in de regel niet aselect getrokken zijn, maar dat zij zich vrijwillig (vaak anoniem) kunnen aanmelden. Onderzoeken gebaseerd op dergelijke zelfselectie kunnen tot een nog veel sterkere vertekening leiden. Zo blijken vooral mensen met een sterke mening (positief dan wel negatief) eerder geneigd te zijn hun oordeel te geven. Om in de sfeer van de verkiezingen te blijven, hierbij een extreem voorbeeld. Via http://verkiezingen.wekelijksepeiling.nl/ kunt u wekelijks uw stem uitbrengen op één van de huidige politieke partijen om daarmee een peiling te genereren voor de Tweede Kamerverkiezingen in 2014 (aldus de website). Om de uitslagen te bekijken, dient men eerst een stem uit te brengen. We kiezen voor het CDA, de eerste in het rijtje. Na stemmen verschijnt de mededeling “Je hebt niet gestemd op de partij met de meeste stemmen! Zorg ervoor dat ook jouw partij meer stemmen krijgt en vraag iedereen mee te stemmen, iedere stem telt.” Op 12 juni 2010, drie dagen na de verkiezingen, was de zetelverdeling onder 44.638 stemmers als volgt:
Een aanzienlijke winst voor de PVV dus (van 24 naar 33), en dat in drie dagen tijd! En het CDA moet zich duidelijk nóg meer zorgen gaan maken dan ze op dit moment al doet.
ANWB-peiling
Helaas beperken de op niets gebaseerde online peilingen zich niet tot de verkiezingen. Begin 2010 peilde de ANWB onder haar leden de mening over de kilometerheffing. De peiling kreeg veel media-aandacht toen de minister van Verkeer en Waterstaat, Camiel Eurlings, verklaarde dat de uitkomst van de online peiling doorslaggevend zou zijn in het besluit om al dan niet een kilometerheffing in te voeren. Vanwege het grote aantal respondenten zou de enquête ‘representatief’ zijn. Maar representatief voor wie? De Nederlandse bevolking? Waarschijnlijk niet, want de Nederlandse bevolking verschilt ongetwijfeld van de groep ANWB leden. De Nederlandse autorijders? Ook dat valt te betwijfelen. Het is goed mogelijk dat de Nederlandse autorijder op (onbekende) achtergrondkenmerken verschilt van het doorsnee ANWB lid. Het ANWB lid dan? Vanwege zelfselectie kan het best zo zijn dat de groep ‘tegen-stemmers’ zich veel meer roert dan de groep ‘voor-stemmers’ waardoor de peiling zelfs de mening van het ANWB lid niet correct weergeeft. Na kritiek stelde de ANWB de peiling ook open voor niet-ANWB leden, maar hierdoor werd het er alleen nog maar onduidelijker op. Net als bij het voorbeeld van verkiezingspeilingen voor 2014 is het volledig onduidelijk welke groep de steekproef van deelnemers nu representeerde. Ongeacht het aantal deelnemers is het uitermate gevaarlijk om conclusies te trekken op basis van dergelijk gegevensmateriaal.
Vereniging Eigen Huis
In april 2010 trok een peiling van de Vereniging Eigen Huis over de hypotheekrenteaftrek eveneens veel media-aandacht. De VEH motiveert op haar website de enquête als volgt: “Om te voorkomen dat de discussie over de hoofden van de bevolking wordt gevoerd, zonder hen te vragen hoe zij zelf over deze en andere woongerelateerde zaken denken, heeft Vereniging Eigen Huis in april een peiling gehouden.” Deze motivatie wekt de indruk dat het om de mening van de Nederlandse bevolking gaat. In de verantwoording, die aan het eind van het rapport en iedere berichtgeving over deze peiling staat vermeld, geeft VEH keurig aan dat niet het geval is: “De peiling doet, al in de opzet, geen aanspraak op representativiteit voor de gehele Nederlandse bevolking. Dat kan ook niet indien een enquête openstaat voor iedereen die mee wil doen, waardoor sprake is van zelfselectie. Maar een peiling die meer dan 120 duizend maal is ingevuld, weerspiegelt wel de mening van een grote groep mensen.” Het is inderdaad een grote groep mensen, maar het is volstrekt onduidelijk om welke (selectieve?) groep mensen het gaat en in hoeverre deze groep ook maar iets weerspiegelt van de Nederlandse bevolking die uit meer dan 16 miljoen mensen bestaat. Een kleine kanssteekproef is beter dan een enorme niet-kanssteekproef. Ook het toverwoord herwegen vindt weinig wetenschappelijke basis: zolang er subgroepen zijn die met een kans gelijk aan nul in de steekproef terecht komen, heeft herweging geen enkele zin.
Bijsluiter voor opiniepeilingen
In 2002 heeft de overheid de Financiële Bijsluiter (FB) ingevoerd. Ondernemingen die complexe financiële producten verkopen, moeten verplicht een FB beschikbaar stellen om ervoor te zorgen dat de consument goede en begrijpelijke informatie ontvangt. Een bijsluiter voor opiniepeilingen zou wat ons betreft ook gewenst zijn. Iedereen die met een opiniepeiling naar buiten komt, is verplicht om een objectief vast te stellen indicator mee te leveren die aangeeft hoe representatief een onderzoek is. Het Centraal Bureau voor de Statistiek heeft reeds de eerste stappen gezet voor de ontwikkeling van zo’n R-indicator (Cobben en Schouten, 2007). Wat ons betreft zou het voor de media verboden moeten zijn om aan onderzoeken met een waarde voor de R-indicator lager dan een nog vast te stellen drempelwaarde enige nieuwswaarde te verbinden. Voor de bepaling van deze drempelwaarde zullen we binnenkort een online peiling starten!
Referenties:
Betlehem, Jelke (2010). http://www.jelkebethlehem.nl/surveys/repres.html
Cobben, Fannie en Barry Schouten (2007). R-indexes for the comparison of different fieldword strategies and data collection modes. Centraal Bureau voor de Statistiek, Discussion Paper 07002.
Scherpenzeel, Annette en Marcel Das (2010). True Longitudinal and Probability-Based Internet Panels: Evidence from the Netherlands. In: Social and Behavioral Research and the Internet: Advances in Applied Methods and Research Strategies (eds. Das, Marcel, Peter Ester, en Lars Kaczmirek), Boca Raton: Taylor & Francis.
Knoef, Marike en Klaas de Vos (2010). Respresentativeness in online panels: how far can we reach? Working paper, CentERdata.
Leenheer, Jorna en Annette Scherpenzeel (2010). Non-internet households in an internet panel: who are they and where do they go?, Working paper, CentERdata, gepresenteerd op de WAPOR conferentie.
Zhang, Chan, Mario Callegaro en Melanie Thomas (2008). More than the Digital Divide? Investigating the differences between Internet and Non-Internet users on attitudes and behaviors, Working paper, gepresenteerd op de MAPOR conferentie.