Q2 Wat is de doeltreffendheid van het beleid? (ex ante, meervoudig)

Wat kan je met deze effectevaluatievraag? Welk antwoord krijg je met deze vraag?

Bij een ex-ante evaluatie van meerdere beleidsinstrumenten vertaalt deze vraag zich tot: wat zal de doeltreffendheid van de beleidsinstrumenten zijn?

Met het antwoord op deze vraag wordt onderzocht of er een beleidseffect is (causaal verband tussen prestaties en effecten). Dus waar de vraag over prestaties en effecten Q1 (Wat zijn de prestaties en effecten van het beleid?) resulteert in een plattegrond van het beleid, staat hier de mate waarin een beleidsdoelstelling wordt gerealiseerd dankzij de inzet van de onderzochte beleidsinstrumenten centraal. De afbeelding hieronder visualiseert deze vraag.

We zijn in deze vraag dus op zoek naar het vaststellen van de (mate van) causaliteit: X leidt tot Y. In welke mate gaan prestaties tot het bereiken van effecten leiden? Het is bij deze vraag onvoldoende om te constateren dat het beleidsdoel gehaald is en dat er bepaalde prestaties waren (wat in de vraag over prestaties en effecten Q1 (Wat zijn de prestaties en effecten van het beleid?) aan de orde is). In hoeverre gaan prestaties er ook echt zorgen dat de beoogde effecten gaan opgetreden? Echter, het vooraf bepalen van causaliteit is complex: dat een set aan vergelijkbare beleidsinstrumenten in andere cases op een bepaalde manier effect hebben gehad, wil niet zeggen dat dit in dit geval ook zo zal werken. Bij een evaluatie van meervoudige instrumenten is het bovendien een uitdaging om in de interactie tussen deze afzonderlijke instrumenten goed in beeld te krijgen.

Een voorbeeld: één van de doelen van Rijkswaterstaat is het verminderen van files. Daarvoor verbreedt ze snelwegen, zet ze onder meer toeritdosering in op snelwegen, versnelt ze bij pech en aanrijdingen de berging van voertuigen, etc. In het tweede kwartaal van 2020 waren de files ineens verdwenen. Dat wil niet zeggen dat het filebeleid van Rijkswaterstaat veel meer doeltreffend is geworden. De daling van de filedruk was geen gevolg van de prestaties van Rijkswaterstaat, maar kwam voort uit de bestrijding van de Coronacrisis: werkend Nederland moest thuisblijven.

Een tweede interessante aspect van de definitie van doeltreffendheid ligt in de woorden: de mate waarin. Er moet dus bepaald worden in welke mate de prestaties de beleidsdoelstelling realiseren. Dit geeft blijk van de complexe wereld waarin beleid zich vaak begeeft en waarin veel verschillende aspecten op elkaar reageren. Je wilt de bijdrage van een beleidsinstrument bij voorkeur isoleren van andere beïnvloedende externe factoren. We moeten dus proberen te destilleren en kwantificeren wat het effect is van beleid.

Hoe verhoudt dit zich tot andere vragen?

Deze doeltreffendheidsvraag is wellicht de meest centrale vraag in veel beleidsevaluaties: In welke mate heeft beleid effect? Deze vraag richt zich primair op het onderbouwen van de veronderstelde causaliteit tussen prestaties en effecten. Hierbij maakt deze doeltreffendheidsvraag gebruik van de uitkomsten van de vraag over prestaties en effecten Q1 (Wat zijn de prestaties en effecten van het beleid?).

Nadat deze doeltreffendheidsvraag (Wat is de doeltreffendheid van beleid?) is beantwoord, heb je de mogelijkheid om ook andere vragen te beantwoorden:

Hoe kan je deze vraag beantwoorden?

Het mag duidelijk zijn dat dit een vraag is die niet eenvoudig te beantwoorden is. Vooraf een inschatting geven van de doeltreffendheid van één instrument (Q2 (ex-ante, enkelvoudig)) is al complex, maar vormt wel een goed startpunt. Door dit af te lopen voor elk instrument wordt in ieder geval duidelijk hoe de beleidsinstrumenten apart op doeltreffendheid zullen scoren. De echte toegevoegde waarde van deze onderzoeksvraag ligt echter in de verwachte interactie-effecten tussen de nog te ontwikkelen beleidsinstrumenten. De methode A.2 Kosteneffectiviteitsanalyse kan hier aanknopingspunten voor geven. Daarnaast kunnen systematische reviews & meta-analyse (O3)simulaties (010) en gedragsinzichten (O15) voor dit kosteneffectiviteitsonderzoek waardevolle input geven. Indien meerdere methodes worden ingezet dan is het aan te raden om de combinatie van deze methodes zorgvuldig uit te voeren. Meer hierover is te vinden onder bij de pagina over mixed methods (O12).

Keuzehulp opnieuw starten