Onderzoek is een methode om iets te leren. Overheidsbeslissingen en -beleid moeten gebaseerd zijn op feiten, dus overheden en semi-overheden moeten vaak onderzoek doen om verstandig te handelen. Het Wetenschappelijk Onderzoek- en Documentatiecentrum (het WODC) zou zulk onderzoek moeten doen voor de overheid. Echter, in 2014 is onder andere door een moedige klokkenluider de klok geluid over WODC-onderzoeken die niet tot feitenkennis, maar tot mogelijk schadelijke misinformatie leidden doordat er politieke belangen meespeelden. Ironisch genoeg gold hetzelfde voor het onderzoek dat vervolgens is ingesteld. In deze tekst doe ik een voorstel om te voorkomen dat dit in de toekomst weer gebeurt. De hoofdpunten:
Gebrek aan transparantie kan leiden tot ineffectief en zelfs schadelijk beleid;
Open Science principes zijn praktisch gratis en eenvoudig te implementeren;
Open Access, Preregistratie, Open Materialen en Open Data besparen geld en voorkomen beïnvloeding van onderzoek;
Als onderzoek door en voor (semi-)overheden altijd volgens Open Science principes plaatsvindt, verbetert dat beleid, bespaart dat geld, en redt het levens.
Veel wetenschappelijke velden, waaronder het mijne (de psychologie), hebben de afgelopen jaren flinke stappen gezet om de gebruikte procedures te verbeteren. Dit was nodig omdat veel vermeende kennis die men dacht te hebben verworven uit die wetenschappelijke bevindingen onwaar bleek. Achteraf bleek dat de manier waarop wetenschappelijk onderzoek werd gedaan, en de manier waarop onderzoekers carrière maakten, beiden niet waardheidsvinding, maar productie van zoveel mogelijk ‘resultaten’ stimuleerde. Snel veel ‘resultaten’ produceren is niet te verenigen met waarheidsgetrouwe resultaten produceren. Hetzelfde geldt voor politieke belangen: deze zijn ook niet te verenigen met waarheidsvinding.
Waarheid versus politieke belangen in onderzoek
Dit betekent, ironisch genoeg, dat enerzijds overheden onherroepelijk onderzoek nodig hebben om feiten in kaart te brengen om hun beleid op te baseren; terwijl anderzijds de bewindsvoerders in een democratische overheid altijd politieke belangen hebben die zulk onderzoek onmogelijk maken. Het is belangrijk om dit op te lossen om twee redenen. De eerste is simpelweg dat als beleid niet op waarheid berust, de gevolgen niet goed te voorspellen zijn, waardoor een overheid niet kan sturen om bijvoorbeeld armoede terug te dringen, zorgverlening te verbeteren, of de volksgezondheid te verhogen. De tweede is dat onderzoeken en publicaties over onderzoeken zelf een soort schijnwaarheid in het leven roepen. Zoals Bas Haan namens namens NTR / NOS Nieuwsuur schreef:
Rapporten van het WODC gelden in de Tweede Kamer praktisch als dé waarheid.
Als concreet voorbeeld het volgende fragment uit een WODC rapport over de B- en I-criteria (de Besloten club en Ingezetenen criteria, oftewel, de ‘wietpas’):
Overlast gerelateerd aan drugstoerisme, grote en niet goed beheersbare coffeeshops, (georganiseerde) criminaliteit op de achtergrond van coffeeshops en kritiek op het Nederlandse coffeeshopsysteem vormden de problemen waarvan verondersteld werd dat de B- en I-criteria er een oplossing voor konden bieden. Op de meeste plaatsen bleek deze problematiek niet overeen te komen met de waarnemingen van de lokale situatie door lokale actoren. De B- en I-criteria vormden derhalve op veel plaatsen geen antwoord op de lokale problematiek.
Er werd geen overlast ervaren, coffeeshops waren goed beheersbaar, dus kort samengevat: de wietpas was bedoeld om problemen op te lossen die niet bestonden. Dit is wat kort door de bocht, maar een stuk accurater dan de versie die de Directie Veiligheid en Bestuur (DVB) van het Ministerie van Justitie en Veiligheid wenste. Zoals de eerder genoemde klokkenluider, een WODC-onderzoekster, in haar brief aangaf:
Op 14 juni had Frans een telefoongesprek over het rapport met Cees Riezebos van DVB. Riezebos had opmerkingen bij de samenvatting van het rapport. Een belangrijk pijnpunt was de bevinding uit de toets van de beleidslogica over de veronderstelde problematiek: ons onderzoek liet zien dat de in de logica veronderstelde problematiek op de meeste plaatsen niet overeenstemde met de waarnemingen van lokale actoren. Onder andere werd op de meeste plaatsen geen overlast gerelateerd aan het drugstoerisme ervaren en waren de coffeeshops goed beheersbaar. […] Wij zouden met die passage het regeerakkoord ondergraven, ons uitspreken over beleidsdoelen en het risico nemen dat deze passage tegen het drugsbeleid gebruikt zou worden. De passage betrof evenwel een toets van veronderstellingen uit de belidslogica, die wij zorgvuldig hadden onderbouwd en genuanceerd hadden gerapporteerd.
[….] Na dagen van een conflictueuze situatie […] is de tekst uiteindelijk aangepast, “gecontextualiseerd” in de woorden van Frans, ‘gecamoufleerd’ en ‘afgezwakt’ is meer mijn beleving.
Met deze interventie is het ministerie van Justitie en Veiligheid er dus in geslaagd onwaarheden als waarheid te verspreiden (dit is het uiteindelijke rapport). Dit is schadelijk: hiermee wordt het beeld van de realiteit van politici, journalisten, en burgers gevormd, of beter, misvormd. Dit draagt bij aan een dysfunctioneel drugsbeleid, wat weer bijdraagt aan meer criminaliteit, meer gezondheidsincidenten, en hogere kosten voor de samenleving (zowel in termen van geld als welzijn).
Een recent rapport door de politieacademie bleek ook op onmogelijke schattingen uit te komen (zie mijn herberekeningen hier). Op basis van een serie dergelijke rapporten stelde minister Grapperhaus:
We worden bijna dagelijks geconfronteerd met georganiseerde criminaliteit die onze samenleving ondermijnt. Door gevaarlijke drugslabs midden in woonwijken, door bedreiging van bestuurders en door vermenging van onder- en bovenwereld. De aanpak hiervan zie ik als een van mijn belangrijkste opdrachten. Nederland moet een minder aantrekkelijk land worden voor de georganiseerde misdaad, daarom gaan we de onderliggende voedingsbodem aanpakken. Door deze concrete investering en door versterking van de samenwerking van overheden en bedrijfsleven gaan we de georganiseerde misdaad een slag toe brengen.
Als dit soort uitspraken en wereldbeelden worden gebaseerd op onderzoeken die niet waarheidsvinding en accurate beschrijving van de realiteit tot doel hebben, maar in plaats daarvan het leveren van ondersteuning voor reeds voorgenomen beleidsmaatregelen, zullen de maatregelen niet werken. Ze zijn immers gebaseerd op verkeerde aannames over de situatie. De geschiedenis van het ministerie van Justitie geeft dus te denken over bovenstaande uitspraak van minister Grapperhaus: wat als dit allemaal niet waar is? Wat als er geen grootschalige criminaliteit is die onze samenleving ondermijnt? Wat als er geen wijdverbeide vermenging is van boven- en onderwereld? En wat als deze concrete investering van 100 miljoen de georganiseerde misdaad geen slag gaat toebrengen?
In dat geval wordt in het beste geval 100 miljoen verspild. Dat is al erg genoeg, maar in dit specifieke geval, met betrekking tot drugsbeleid, geldt bovendien dat repressie vaak averechts werkt. Het leidt niet tot minder criminaliteit maar wel tot meer incidenten en slachtoffers. Als dit besluit om 100 miljoen te investeren dus niet is gebaseerd op waarheid, maar op verkeerde beelden geschetst door onderzoek dat is beïnvloed door voorgenomen beleidsmaatregelen, dan is het goed mogelijk dat deze investering niet leidt tot minder criminaliteit. In plaats daarvan leidt de investering misschien zelfs tot meer criminaliteit - en in het ergste geval tot repressiever lokaal drugsbeleid, wat meer gezondheidsincidenten en doden tot gevolg kan hebben.
Het is dus cruciaal dat onderzoek in opdracht van de overheid zo wordt vormgegeven dat beïnvloeding zo moeilijk mogelijk is, en zo makkelijk mogelijk aan het licht komt.
Open Science
Gelukkig zijn er een aantal eenvoudige stappen te zetten om door transparantie te vergroten misstanden te voorkomen en als bijvangst fraude fors moeilijker te maken. Deze zijn de afgelopen jaren verder uitgekristalliseerd, en vallen in wetenschappelijke kringen onder de term Open Science. Ik zal hier vier Open Science principes bespreken en uitleggen hoe ze integriteit van onderzoek voor en door (semi-)overheden verhogen, of, andersom benaderd: het veel moeiijker maken om resultaten te verhullen of verkeerd te representeren.
Open Access
Een van de meest bekende Open Science principes wordt gelukkig al veelvuldig toegepast voor overheidsonderzoek: Open Access. Dit betekent dat de rapporten of artikelen vrij (en gratis) toegankelijk zijn voor iedereen die ze wil lezen. Wat dit betreft heeft overheidsonderzoek dus alvast een voorsprong op wetenschappelijk onderzoek, waar deze vertaalslag nu pas plaatsvindt.
Preregistratie
Preregistratie bestaat uit een eenvoudige actie: voordat een studie wordt uitgevoerd (om precies te zijn, voordat de data worden verzameld) worden alle procedures om data te verzamelen en te analyseren vastgelegd en openbaar gemaakt (eventueel na een embargoperiode van bijvoorbeeld een jaar).
In zo’n preregistratie staat precies wat de onderzoeksvragen zijn, op welke manier die onderzocht gaan worden, hoeveel data wordt verzameld (bijvoorbeeld een aantal te interviewen mensen, of een aantal deelnemers), hoe is berekend dat die hoeveelheid volstaat (en niet onnodig veel is), welke analyses precies worden toegepast op de data om tot resultaten te komen, en hoe de conclusies worden gebaseerd op de uitkomsten van die analyses. Afwijken van die plannen mag altijd; als die afwijking maar goed wordt onderbouwd (zie Preregistration: A Plan, Not a Prison). Preregistratie geeft iedereen (of het nu journalisten, burgers, beleidsmakers, of andere onderzoekers zijn) vertrouwen dat er niet halverwege andere resultaten worden gepresenteerd dan vooraf gepland omdat die bijvoorbeeld beter uitkomen voor een opdrachtgever.
Zo’n preregistratie wordt ‘bevroren’ voordat de data worden verzameld, en kunnen dus achteraf niet meer worden aangepast. Ze kunnen natuurlijk worden opgevolgd door vernieuwde versies; als bijvoorbeeld vroeg in de dataverzameling blijkt dat een studie toch fundamenteel anders moet, dan kan een tweede preregistratie worden toegevoegd om de aanpassingen te onderbouwen. Het oorspronkelijke plan blijft echter toegankelijk. Om een voorbeeld te bekijken: dit en dit zijn voorbeelden van preregistraties van onderzoek waar ik bij betrokken ben.
Open materialen
Een tweede Open Science principe is het openbaar maken van alle materialen en andere producten van een onderzoek. Bij een vragenlijststudie betreft dit bijvoorbeeld de vragenlijsten die worden gebruikt. Deze worden idealiter zelfs al vastgelegd in de preregistratie, net als de aanvraag voor, en toekenning van, ethische toestemming, de communicaties met eventuele deelnemers of derde partijen, en andere procedurele documenten.
Hieronder vallen bovendien de analysescripts: kwantitatief onderzoek, bijvoorbeeld gebaseerd op vragenlijsten, wordt vaak geanalyseerd met specifieke softwarepakketten waarin de analyses worden gespecificeerd in zogenaamde analysescripts (bijvoorbeeld R scripts of SPSS syntax). In het ideale geval zijn die scripts van te voren al geschreven, en kunnen ze in de preregistratie worden vastgelegd, maar dit is vaak erg lastig. Daarom worden die meestal pas openbaar gemaakt als de data zijn geanalyseerd en ze in hun definitieve versie zijn. Anderen kunnen deze dan in detail bekijken om precies te zien wat de onderzoekers hebben gedaan om tot hun uitkomsten te komen: als er dan bijvoorbeeld sommige deelnemers worden verwijderd, wordt dat meteen duidelijk.
Open data
Tot slot is het belangrijk dat de data openbaar worden gemaakt. Deze zullen natuurlijk altijd eerst geanonimiseerd moeten worden - persoonsgegevens mogen gelukkig nooit openbaar worden gemaakt. Het is gelukkig bijna altijd mogelijk om datasets te anonimiseren. In gevallen waar dit onmogelijk is, kunnen de onderzoekers dit altijd uitleggen en onderbouwen - bescherming van privacy is tenslotte ook erg belangrijk. Veel overheidsonderzoek gaat gelukkig niet over specifieke individuen, dus de data uit overheidsonderzoek om beleid op te baseren zal vaak wel openbaar gemaakt kunnen worden. Hoewel er dus soms goede doorslaggevende redenen zijn om data niet openbaar te maken, is dat maar het geval in een fractie van de onderzoeken, en steeds zal goede onderbouwing kunnen worden gegeven. Bovendien kunnen, zelfs als data niet openbaar gemaakt kunnen worden, alle andere materialen in het onderzoek wel openbaar gemaakt worden, en kunnen dergelijke studies wel worden gepreregistreerd.
Met betrekking tot data die geen persoonsgegevens bevatten (dus data die niet herleidbaar zijn tot individuen) geldt dat deze zijn gedefinieerd als feiten, en feiten kunnen niet auteursrechtelijk worden beschermd. Dit is ook logisch: stel je voor dat je iets ontdekt over de wereld en die kennis zou kunnen copyrighten (er zijn overigens een paar uitzonderingen, denk bijvoorbeeld aan patenten): dit zou niet werkbaar zijn. Bovendien heb je een feit over de wereld niet gecreeerd, maar ontdekt: er is dus uberhaupt geen sprake van auteurschap. Feiten, oftewel geanonimiseerde datasets, bestaan dus per definitie in het publieke domein, en als deze feiten in opdracht van de overheid zijn verzameld, dan lijkt het niet onredelijk te stellen dat er een verantwoordelijkheid bestaat om die feiten te delen met de wereld.
Conclusie
Er bestaat een uitstekende, betrouwbare, gratis bruikbare infrastructuur om onderzoek van organisaties zoals het WODC en het Trimbos Instituut uit te voeren volgens Open Science principes. In alle organisaties met onderzoekers in dienst is bovendien de benodigde expertise aanwezig. Overheden en semi-overheden kunnen dus zonder dat grote investeringen nodig zijn of zonder dat procedures drastisch hoeven te veranderen veel meer transparantie betrachten. Er zijn goede redenen te over om zo te werk te gaan.
Omgekeerd geldt dat er geen legitieme redenen zijn om dit niet te doen. Onderzoek hoort sowieso repliceerbaar en controleerbaar te zijn; en voor met publieksgeld ontwikkelde materialen (zoals de materialen die voor een onderzoek worden ontwikkeld) leidt dit noodzakelijkerwijs tot een zekere mate van kapitaalvernietiging. Hierdoor moet het wiel immers onnodig vaak opnieuw worden uitgevonden, wat geld en tijd (en dus meer geld) kost. Geld dat anders ook in bijvoorbeeld gezondheidszorg gestoken kan worden. Een terughoudendheid of zelfs weigering om onderzoeken in alle transparantie te laten plaatsvinden geeft dus te denken. Een belangrijke reden kan zijn dat het onderzoek niet is bedoeld als waarheidsvinding, maar om voorgenomen beleid te onderbouwen, of dat beleid nu verstandig is of niet. In een democratie moeten dergelijke praktijken zoveel mogelijk worden belemmerd.
Overheidsonderzoek door bijvoorbeeld het WODC en het Trimbos Instituut verplicht laten uitvoeren volgens de principes van Open Science, dus met preregistratie, open access, open materialen, en open data, is goedkoop maar heeft grote potentie misstanden te voorkomen en tot effectiever beleid te leiden.