Q9 Wat verklaart de mate van doeltreffendheid van het beleid? (ex durante, meervoudig)

Wat kan je met deze verklarende evaluatievraag? Welk antwoord krijg je met deze vraag?

Bij een ex-durante evaluatie van meerdere beleidsinstrumenten vertaalt deze vraag zich tot de volgende vraag: wat verklaart de tot nu toe gerealiseerde mate van doeltreffendheid van de beleidsinstrumenten?

Met het antwoord op deze vraag worden verklaringen gegeven voor de tot nu toe gevonden mate van doeltreffendheid van beleid. Het gaat hierbij om de beoogde effecten van de beleidsinstrumenten. Verklaringen vergroten het zicht op de mechanismen waarom beleidsmaatregelen tot nu toe (wel, niet of deels) heeft gewerkt. Er bestaan drie fundamenteel verschillende perspectieven op het evalueren van de doeltreffendheid van beleid. Elk heeft zijn eigen sterktes en zwaktes. Om een goede verklaring te geven van doeltreffendheid van beleid is het goed om alle perspectieven te overwegen en de juiste mix te kiezen. De perspectieven vullen elkaar immers grotendeels aan:

  • Q2 (Wat is de doeltreffendheid van het beleid?) Hanteert een kwantitatieve insteek. Het perspectief biedt weinig ruimte aan verklaringen, maar geeft wel een goed vertrekpunt voor andere verklarende analyses. Het geeft immers om de hardste indicator van “de gevonden mate”.
  • Q3 (Voor wie en in welke omstandigheden werkt het beleid?) Legt de focus op het onderzoeken van mechanismen en de context waaronder deze mechanismen werken. Dit perspectief biedt veel aanknopingspunten voor verklaringen: wat werkt wanneer voor wie? Het nadeel is wel dat deze verklaringen alleen gelden in één of meer specifieke context(en).
  • Q4 (Hoe wordt het beleid door belanghebbenden ervaren en beoordeeld?) Legt de aandacht op het perspectief van de verschillende stakeholders. De verschillende perspectieven bieden potentieel veel verklarende inzichten, maar deze inzichten zijn natuurlijk wel perspectiefgebonden.

De afbeelding hieronder visualiseert deze vraag.

Een huursubsidie moet bijvoorbeeld waarborgen dat huishoudens met lage inkomens goede en betaalbare woningen kunnen bewonen. Q2 helpt om vast te stellen hoeveel huishoudens met een laag inkomen in een bepaalde periode dankzij de subsidie een betaalbare woning hebben kunnen bewonen. Dat is een indicator voor doeltreffendheid. Q3 helpt te verklaren waarom bepaalde doelgroepen wel of geen gebruik maken van de subsidie. Een relatief lage doeltreffendheid kan bijvoorbeeld worden veroorzaakt doordat bepaalde doelgroepen niet bekend zijn met de subsidie of de aanvraagprocedure te ingewikkeld vinden. Dit soort specifieke informatie kan worden gemist door analyses die louter kwantitatief van aard zijn. Q4 tenslotte verzamelt ervaringen, meningen en opvattingen van belanghebbenden over het instrument. Mogelijk vinden bepaalde groepen stakeholders de subsidie per definitie te laag, of zijn bepaalde andere groepen stakeholders er van overtuigd dat huursubsidies per definitie marktverstorend werken.

Meervoudigheid

Bij deze vraag gaat het om meerdere, samenhangende beleidsinstrumenten. Bij het verklaren van de doeltreffendheid moet expliciet aandacht zijn voor de wijze waarop en de mate waarin de individuele instrumenten met elkaar interacteren. Maatregelen kunnen wanneer zij goed op elkaar ingesteld zijn de doeltreffendheid vergroten: denk aan een voorlichtingscampagne in combinatie met een subsidieregeling of handhaving. Maar het kan ook zo zijn dat ze dermate negatief op elkaar inwerken dat er afbreuk wordt gedaan aan de doeltreffendheid. Er moet dus niet alleen gekeken worden of de verklaringen voor doeltreffendheid effect hebben op individuele beleidsinstrumenten.

Hoe verhoudt dit zich tot andere vragen?

Deze analyse kan uiteraard voortbouwen op de verschillende analyses van doeltreffendheid zoals hierboven genoemd. Daarbinnen zal echter specifieke aandacht moeten zijn voor verklaringen. Deze vraag geeft input voor Q10 (Hoe kan de doeltreffendheid van het beleid verhoogd worden?).

Hoe kan je deze vraag beantwoorden?

De meest geschikte methodes om dit te onderzoeken zijn Qualitative Comparative Analysis (QCA; O9)outcome mapping (O7) en Regressieanalyse (O13). Daarnaast kan ook gebruik gemaakt worden van systematische reviews & meta-analyse (O3)case studies (O4)Succes Case Method (O8) en gedragsinzichten (O15). Daarnaast is echter ook een specifieke methode om deze ex-durante vraag te beantwoorden: lerend evalueren (O11).

Deze analyse kan uiteraard voortbouwen uit de verschillende analyses van doeltreffendheid zoals hierboven genoemd. Daarbinnen zal echter specifieke aandacht moeten zijn voor verklaringen. Een inherente beperking van ex durante evaluaties is dat vaak nog maar beperkt gegevens beschikbaar zijn over de prestaties, effecten en doelmatigheid van het gevoerde beleid: het is immers nog in uitvoering.

Keuzehulp opnieuw starten