Q9 Wat verklaart de mate van doeltreffendheid van het beleid? (ex post, enkelvoudig)
Wat kan je met deze verklarende evaluatievraag? Welk antwoord krijg je met deze vraag?
Bij een ex-post evaluatie van één beleidsinstrument vertaalt deze vraag zich tot: wat verklaart de gerealiseerde mate van doeltreffendheid van het beleidsinstrument?
Met het antwoord op deze vraag worden verklaringen gegeven voor de gevonden mate van doeltreffendheid van beleid. Het gaat hierbij om de beoogde effecten van het beleidsinstrument. Verklaringen vergroten het zicht op de mechanismen waarom een beleidsmaatregel (wel, niet of deels) heeft gewerkt. Er bestaan drie fundamenteel verschillende perspectieven op het evalueren van de doeltreffendheid van beleid. Elk heeft zijn eigen sterktes en zwaktes. Om een goede verklaring te geven van doeltreffendheid van beleid is het goed om alle perspectieven te overwegen en de juiste mix te kiezen. De perspectieven vullen elkaar immers grotendeels aan:
- Q2 (Wat is de doeltreffendheid van het beleid?) Hanteert een kwantitatieve insteek. Het perspectief biedt weinig ruimte aan verklaringen, maar geeft wel een goed vertrekpunt voor andere verklarende analyses. Het geeft immers om de hardste indicator van “de gevonden mate”.
- Q3 (Voor wie en in welke omstandigheden werkt het beleid?) Legt de focus op het onderzoeken van mechanismen en de context waaronder deze mechanismen werken. Dit perspectief biedt veel aanknopingspunten voor verklaringen: wat werkt wanneer voor wie? Het nadeel is wel dat deze verklaringen alleen gelden in één of meer specifieke context(en).
- Q4 (Hoe wordt het beleid door belanghebbenden ervaren en beoordeeld?) Legt de aandacht op het perspectief van de verschillende stakeholders. De verschillende perspectieven bieden potentieel veel verklarende inzichten, maar deze inzichten zijn natuurlijk wel perspectiefgebonden.
De afbeelding hieronder visualiseert deze vraag.
Een huursubsidie moet bijvoorbeeld waarborgen dat huishoudens met lage inkomens goede en betaalbare woningen kunnen bewonen. Q2 helpt om vast te stellen hoeveel huishoudens met een laag inkomen in een bepaalde periode dankzij de subsidie een betaalbare woning hebben kunnen bewonen. Dat is een indicator voor doeltreffendheid. Q3 helpt te verklaren waarom bepaalde doelgroepen wel of geen gebruik maken van de subsidie. Een relatief lage doeltreffendheid kan bijvoorbeeld worden veroorzaakt doordat bepaalde doelgroepen niet bekend zijn met de subsidie of de aanvraagprocedure te ingewikkeld vinden. Dit soort specifieke informatie kan worden gemist door analyses die louter kwantitatief van aard zijn. Q4 tenslotte verzamelt ervaringen, meningen en opvattingen van belanghebbenden over het instrument. Mogelijk vinden bepaalde groepen stakeholders de subsidie per definitie te laag, of zijn bepaalde andere groepen stakeholders er van overtuigd dat huursubsidies per definitie marktverstorend werken.
Hoe verhoudt dit zich tot andere vragen?
Deze analyse kan uiteraard voortbouwen op de verschillende analyses van doeltreffendheid zoals hierboven genoemd. Daarbinnen zal echter specifieke aandacht moeten zijn voor verklaringen. Deze vraag geeft input voor Q10 (Hoe kan de doeltreffendheid van het beleid verhoogd worden?).
Hoe kan je deze vraag beantwoorden?
Het achteraf verklaren van de doeltreffendheid is een vraag die vaak gesteld wordt, maar wellicht nog veel vaker gesteld zou mogen worden. De meest geschikte methodes om dit te onderzoeken zijn Qualitative Comparative Analysis (QCA; O9), outcome mapping (O7) en Regressieanalyse (O13). Daarnaast kan ook gebruik gemaakt worden van systematische reviews & meta-analyse (O3), case studies (O4), Succes Case Method (O8) en gedragsinzichten (O15).