Q2 Wat is de doeltreffendheid van het beleid? (ex durante, enkelvoudig)
Wat kan je met deze effectevaluatievraag? Welk antwoord krijg je met deze vraag?
Bij een ex-durante evaluatie van één beleidsinstrument vertaalt deze vraag zich tot: wat is de doeltreffendheid van het beleidsinstrument tot nu toe geweest?
Met het antwoord op deze vraag wordt aangetoond of er een beleidseffect is (causaal verband tussen prestaties en effecten). Dus waar de vraag over prestaties en effecten Q1 (Wat zijn de prestaties en effecten van het beleid?) resulteert in een plattegrond van het beleid, staat hier de mate waarin een beleidsdoelstelling wordt gerealiseerd dankzij de inzet van de onderzochte beleidsinstrumenten centraal. De afbeelding hieronder visualiseert deze vraag.
We zijn in deze vraag dus op zoek naar het vaststellen van de (mate van) causaliteit: X leidt tot Y. In welke mate leiden prestaties tot het bereiken van effecten? Het is bij deze vraag onvoldoende om te constateren dat het beleidsdoel gehaald is en dat er bepaalde prestaties waren (wat in de vraag over prestaties en effecten Q1 (Wat zijn de prestaties en effecten van het beleid?) aan de orde is). In hoeverre hebben de prestaties er ook echt voor gezorgd dat de beoogde effecten zijn opgetreden?
Een voorbeeld: één van de doelen van Rijkswaterstaat is het verminderen van files. Daarvoor verbreedt ze bijvoorbeeld snelwegen. In het tweede kwartaal van 2020 waren de files ineens verdwenen. Indien zij nu een ex-durante evaluatie uitvoeren van hun beleid, dan kunnen zij niet stellen dat een bepaalde instrument extreem effectief was. De daling van de filedruk was geen gevolg van de prestaties van Rijkswaterstaat, maar kwam voort uit de bestrijding van de Coronacrisis: werkend Nederland moest thuisblijven.
Een tweede interessante aspect van de definitie van doeltreffendheid ligt in de woorden: de mate waarin. Er moet dus bepaald worden in welke mate de prestaties de beleidsdoelstelling tot nu toe realiseren. Dit geeft blijk van de complexe wereld waarin beleid zich veelal begeeft en waarin veel verschillende aspecten op elkaar reageren. Je wilt de bijdrage van een beleidsinstrument bij voorkeur isoleren van andere beïnvloedende externe factoren. We moeten dus trachten te destilleren en kwantificeren wat het effect is van beleid.
Hoe verhoudt dit zich tot andere vragen?
Deze doeltreffendheidsvraag is wellicht de meest centrale vraag in veel beleidsevaluaties: In welke mate heeft een beleidsinstrument tot nu toe effect? Deze vraag richt zich primair op het onderbouwen van de (omvang van de) veronderstelde causaliteit tussen prestaties en effecten. Hierbij maakt deze doeltreffendheidsvraag gebruik van de uitkomsten van de vraag over prestaties en effecten Q1 (Wat zijn de prestaties en effecten van het beleid?). Er zijn echter ook ander vragen mogelijk over de relatie tussen beleid en effecten:
- Q3 (Voor wie en in welke omstandigheden werkt het beleid?) Je kunt nagaan in welke mate de doelgroepen en specifieke omstandigheden de causaliteit beïnvloeden.
- Q4 (Hoe wordt het beleid door belanghebbenden ervaren en beoordeeld?) Je kunt de antwoorden op Q2 gebruiken om na te gaan hoe belanghebbenden het instrument hebben ervaren, en dat zowel in situaties waar de maatregel wel of niet effectief is geweest.
- Q6 (Is de verhouding tussen kosten en beleidseffecten optimaal?) Wanneer dankzij Q2 bekend is hoe effectief een instrument is geweest, is het mogelijk te bepalen of de kosten van de inzet optimaal zijn.
Hoe kan je deze vraag beantwoorden?
Onder de term ex-durante worden twee soorten evaluaties geschaard die onderling sterk verschillen.
- Bij monitoring is er sprake van een periodieke of continue meting van een beperkte set indicatoren. Hierdoor kunnen tussentijds accenten worden verlegd. Daarnaast is monitoring een manier om tijdig problemen te identificeren.
- Bij een mid-term evaluatie is er sprake van een onderzoeksproject naar de doeltreffendheid of doelmatigheid van lopend beleid. Door alvast terug te kijken (ex-post) kan toekomstig beleid (ex-ante) substantieel aangepast worden.
Omdat monitoring en mid-term evaluaties sterk verschillen, zijn er uiteraard andere manieren om deze vraag te beantwoorden. Hieronder worden beide soorten vragen separaat behandeld.
Indien monitoring centraal staat, dan moet er een periodieke of continue meting van doeltreffendheid worden uitgevoerd. Dit kan door de methodes in Q2 (ex-post, enkelvoudig) continu te hanteren waarbij de prestaties en effecten (Q1 (Wat zijn de prestaties en effecten van het beleid?)) variëren over tijd. Zie monitoring (O5).
Indien er sprake is van een mid-term evaluatie dan lijkt deze methodologisch sterk op een model waarin eerst een ex-post evaluatie wordt uitgevoerd en daarna een ex-ante evaluatie wordt uitgevoerd. Daarom moet dus eerst deze vraag vanuit een ex-post perspectief Q2 (ex-post, enkelvoudig) worden bekeken. Daarna kan naar het ex-ante perspectief Q2 (ex-ante, enkelvoudig) worden gekeken. Een inherente beperking van ex durante evaluaties is dat vaak nog maar beperkt gegevens beschikbaar zijn over de prestaties, effecten en doelmatigheid van het gevoerde beleid: het is immers nog in uitvoering.
Denk bij zowel monitoring als mid-term evaluaties ook aan het inzetten van gedragsinzichten (O15).